特許 7562827 カメラの位置ずれ測定装置および位置ずれ測定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-27

(45)【発行日】2024-10-07

(54)【発明の名称】カメラの位置ずれ測定装置および位置ずれ測定方法

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240930BHJP

【ＦＩ】

B25J13/08 A

【請求項の数】 6

(21)【出願番号】P 2023501705

(86)(22)【出願日】2021-02-24

(86)【国際出願番号】 JP2021006829

(87)【国際公開番号】W WO2022180674

(87)【国際公開日】2022-09-01

【審査請求日】2024-01-11

(73)【特許権者】

【識別番号】000237271

【氏名又は名称】株式会社ＦＵＪＩ

(74)【代理人】

【識別番号】110000017

【氏名又は名称】弁理士法人アイテック国際特許事務所

(72)【発明者】

【氏名】川▲崎▼ 智紀

【審査官】尾形 元

(56)【参考文献】

【文献】特開２０１７－１００２４０（ＪＰ，Ａ）

【文献】特開２０１６－５２６９５（ＪＰ，Ａ）

【文献】特開昭６４－２７８８５（ＪＰ，Ａ）

【文献】特開昭６０－１５９９０５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

(57)【特許請求の範囲】

【請求項1】

ロボットアームと該ロボットアームに取り付けられたハンドカメラとを有するロボットと、前記ロボットの外部に設置された外部カメラと、を備えるロボットシステムにおいて、前記ハンドカメラの位置ずれを測定するカメラの位置ずれ測定装置であって、
前記外部カメラの上方に設置され、上下に貫通する第１測定用穴を有する治具部材と、
前記外部カメラにより前記治具部材を撮像し、得られた前記第１測定用穴の撮像画像から前記第１測定用穴の位置を取得する第１位置取得部と、
前記第１位置取得部により取得された位置に前記ハンドカメラを移動させて前記ハンドカメラにより前記治具部材を撮像し、得られた前記第１測定用穴の撮像画像から前記第１測定用穴の位置を取得する第２位置取得部と、
前記第２位置取得部により取得された前記第１測定用穴の位置に前記ロボットの手先を移動させて前記外部カメラにより前記ロボットの手先を撮像し、得られた撮像画像から前記カメラの位置ずれを測定する位置ずれ測定部と、
を備えるカメラの位置ずれ測定装置。

【請求項2】

請求項１に記載のカメラの位置ずれ測定装置であって、
前記外部カメラの上方に設置され、前記第１測定用穴とは別に上下に貫通する複数の第２測定用穴を有する治具部材と、
前記外部カメラの上方に前記ロボットの手先を移動させて前記外部カメラにより前記手先を撮像し、得られた前記手先の撮像画像から前記外部カメラの位置を取得する外部カメラ位置取得部と、
前記外部カメラにより前記治具部材を撮像し、得られた前記第２測定用穴の撮像画像から前記第２測定用穴の位相を取得する第１位相取得部と、
前記外部カメラ位置取得部により取得された前記外部カメラの位置に前記ハンドカメラを移動させて前記ハンドカメラにより前記治具部材を撮像し、得られた前記第２測定用穴の撮像画像から前記第２測定用穴の位相を取得する第２位相取得部と、
前記第１位相取得部および前記第２位相取得部によりそれぞれ取得された第２測定用穴の位相に基づいて前記ハンドカメラの位相ずれを測定する位相ずれ測定部と、
を備えるカメラの位置ずれ測定装置。

【請求項3】

請求項１または２に記載のカメラの位置ずれ測定装置であって、
前記外部カメラの上方に設置され、前記第１測定用穴とは別に上下に貫通する複数の第２測定用穴を有する治具部材と、
前記外部カメラにより前記治具部材を撮像し、得られた前記第２測定用穴の撮像画像から前記第１測定用穴の高さを取得する高さ取得部と、
を備え、
前記第２位置取得部は、前記第１位置取得部により取得された位置および前記高さ取得部により取得された高さに前記ハンドカメラを移動させる、
カメラの位置ずれ測定装置。

【請求項4】

請求項１ないし３いずれか１項に記載のカメラの位置ずれ測定装置であって、
前記外部カメラの上方に設置され、前記第１測定用穴とは別に上下に貫通する複数の第２測定用穴を有する治具部材と、
前記外部カメラにより前記治具部材を撮像し、得られた前記第２測定用穴の撮像画像から前記第１測定用穴の高さを取得する高さ取得部と、
を備え、
前記位置ずれ測定部は、前記第２位置取得部により取得された位置および前記高さ取得部により取得された高さに前記ハンドカメラを移動させる、
カメラの位置ずれ測定装置。

【請求項5】

ロボットアームと該ロボットアームに取り付けられたハンドカメラとを有するロボットと、前記ロボットの外部に設置された外部カメラと、を備えるロボットシステムにおいて、前記ハンドカメラの位置ずれを測定するカメラの位置ずれ測定方法であって、
前記外部カメラの上方に、上下に貫通する第１測定用穴を有する治具部材を設置し、
前記外部カメラにより前記治具部材を撮像し得られた前記第１測定用穴の撮像画像から前記第１測定用穴の位置を取得し、該取得した位置に前記ハンドカメラを移動させて前記ハンドカメラにより前記治具部材を撮像し得られた前記第１測定用穴の撮像画像から前記第１測定用穴の位置を取得し、該取得した前記第１測定用穴の位置に前記ロボットの手先を移動させて前記外部カメラにより前記ロボットの手先を撮像し得られた撮像画像から前記カメラの位置ずれを測定する、
カメラの位置ずれ測定方法。

【請求項6】

請求項５に記載のカメラの位置ずれ測定方法であって、
前記外部カメラの上方に、前記第１測定用穴とは別に上下に貫通する複数の第２測定用穴を有する治具部材を設置し、
前記外部カメラの上方に前記ロボットの手先を移動させて前記外部カメラにより前記手先を撮像し得られた前記手先の撮像画像から前記外部カメラの位置を取得し、前記外部カメラにより前記治具部材を撮像し得られた前記第２測定用穴の撮像画像から前記第２測定用穴の位相を取得し、前記取得した外部カメラの位置に前記ハンドカメラを移動させて前記ハンドカメラにより前記治具部材を撮像し得られた前記第２測定用穴の撮像画像から前記第２測定用穴の位相を取得し、前記外部カメラおよび前記ハンドカメラによりそれぞれ取得した第２測定用穴の位相に基づいて前記ハンドカメラの位相ずれを測定する、
カメラの位置ずれ測定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、カメラの位置ずれ測定装置および位置ずれ測定方法について開示する。

【背景技術】

【0002】

従来、ロボットアームとロボットカメラとを有するロボットと、ロボットとは別個に設置された外部カメラと、を備え、予め校正済みのロボットカメラで校正用パターンを撮像すると共に外部カメラで校正用パターンを撮像して外部カメラの校正データを求めるロボットシステムが提案されている（例えば、特許文献１参照）。このシステムは、ロボットカメラおよび外部カメラでそれぞれ校正用パターンを撮像してパターン画像をそれぞれ取得し、取得したパターン画像とロボットカメラに対する既知の校正データとに基づいて外部カメラの校正データを求めている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－６９４９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献１記載の技術は、外部カメラを校正することについては記載されているものの、ロボットカメラを校正することについて何ら言及されていない。

【0005】

本開示は、ロボットのアームに取り付けられたカメラのずれを適切に測定することを主目的とする。

【課題を解決するための手段】

【0006】

本開示は、上述の主目的を達成するために以下の手段を採った。

【0007】

本開示のカメラの位置ずれ測定装置は、
ロボットアームと該ロボットアームに取り付けられたハンドカメラとを有するロボットと、前記ロボットの外部に設置された外部カメラと、を備えるロボットシステムにおいて、前記ハンドカメラの位置ずれを測定するカメラの位置ずれ測定装置であって、
前記外部カメラの上方に設置され、上下に貫通する第１測定用穴を有する治具部材と、
前記外部カメラにより前記治具部材を撮像し、得られた前記第１測定用穴の撮像画像から前記第１測定用穴の位置を取得する第１位置取得部と、
前記第１位置取得部により取得された位置に前記ハンドカメラを移動させて前記ハンドカメラにより前記治具部材を撮像し、得られた前記第１測定用穴の撮像画像から前記第１測定用穴の位置を取得する第２位置取得部と、
前記第２位置取得部により取得された前記第１測定用穴の位置に前記ロボットの手先を移動させて前記外部カメラにより前記ロボットの手先を撮像し、得られた撮像画像から前記カメラの位置ずれを測定する位置ずれ測定部と、
を備えることを要旨とする。

【0008】

この本開示のカメラの位置ずれ測定装置は、外部カメラを用いてロボットアームに取り付けられたハンドカメラの位置ずれを測定するものであり、外部カメラの上方に設置され、上下に貫通する第１測定用穴を有する治具部材を含む。さらに、位置ずれ測定装置は、外部カメラにより治具部材を撮像して第１測定用穴の位置を取得し、取得された位置にハンドカメラを移動させてハンドカメラにより治具部材を撮像して第１測定用穴の位置を取得する。そして、位置ずれ測定装置は、その取得した第１測定用穴の位置にロボットの手先を移動させて外部カメラによりロボットの手先を撮像し、カメラの位置ずれを測定する。これにより、ロボットのアームに取り付けられたカメラの位置ずれを適切に測定することができる。

【図面の簡単な説明】

【0009】

【図1】ロボットシステムの外観斜視図である。

【図2】ロボットと制御装置との電気的な接続関係を示すブロック図である。

【図3】ワールド座標系を説明する説明図である。

【図4】ベース座標系、カメラ座標系およびメカニカルインタフェース座標系を説明する説明図である。

【図5】ハンドカメラ位置測定手順を示す説明図である。

【図6】マーク付きエンドエフェクタの外観図である。

【図7】ハンドカメラ位置測定用ワークカメラ位置測定処理を示すフローチャートである。

【図8】ワークカメラ位置を測定する様子を示す説明図である。

【図9】ワークカメラ位置のずれ量を説明する説明図である。

【図10】穴治具の取付の様子を示す説明図である。

【図11】ハンドカメラ位置測定用穴位置測定処理の一例を示すフローチャートである。

【図12】ワークカメラで穴治具の３点穴を撮像する様子を示す説明図である。

【図13】ハンドカメラ角度測定処理の一例を示すフローチャートである。

【図14】ハンドカメラで穴治具を撮像する様子を示す説明図である。

【図15】ワークカメラとハンドカメラとでそれぞれ測定した３点穴の位相を示す説明図である。

【図16】ハンドカメラ位置測定処理の一例を示すフローチャートである。

【図17】ワークカメラでマーク付きエンドエフェクタを撮像する様子を示す説明図である。

【図18】ハンドカメラ中心から中心穴までの距離を説明する説明図である。

【図19】マークピン位置（平均値）とハンドカメラ位置測定用穴中心位置と位置ずれ量との関係を示す説明図である。

【発明を実施するための形態】

【0010】

次に、本開示を実施するための形態について図面を参照しながら説明する。

【0011】

図１は、ロボットの外観斜視図である。図２は、ロボットと制御装置との電気的な接続関係を示すブロック図である。

【0012】

ロボットシステム１は、作業ロボットシステムであり、例えば、ワーク供給部Ｐにより供給されるワークＷ（部品）を採取して基板Ｓに実装する。このロボットシステム１は、図１，２に示すように、作業台２と、ロボット１０と、ロボット１０のロボットアーム２０に取り付けられたハンドカメラ６０と、外部カメラとしてのワークカメラ７０と、ロボット１０を制御する制御装置９０と、を備える。作業台２には、鉛直方向に延在するメインポール３ａと、メインポール３ａから離間するように鉛直方向に延在するサブポール３ｂとが設置されている。

【0013】

ロボット１０は、本実施形態では、スカラロボットであり、ベース１１とロボットアーム２０とを備える。

【0014】

ベース１１は、作業台２に固定されており、ロボットアーム２０の基端側を支持する。ロボットアーム２０は、第１アーム２１と第１アーム駆動部３０と第２アーム２２と第２アーム駆動部４０とシャフト２３とシャフト駆動部５０とを備える。第１アーム２１は、基端部が第１関節軸Ｊ１を介してベース１１に連結され、第１関節軸Ｊ１の回動によりベース１１に対して水平面内で回動（水平旋回）可能に構成される。第２アーム２２は、基端部が第２関節軸Ｊ２を介して第１アーム２１の先端部に連結され、第２関節軸Ｊ２の回動により第１アーム２１に対して水平面内で回動（水平旋回）可能に構成される。シャフト２３は、第２アーム２２の先端部に第３関節軸Ｊ３を介して連結され、第２アーム２２に対して第３関節軸Ｊ３の軸周りに回転可能かつ第３関節軸Ｊ３の軸方向に沿って昇降可能に構成される。本実施形態のロボットシステム１では、シャフト２３の先端には、エンドエフェクタとして、ワークＷを採取して保持するワーク保持部２４が設けられている。なお、ワーク保持部２４としては、例えば、負圧によりワークＷを吸着する吸着ノズルや、一対の爪によりワークＷを把持するメカニカルチャック、電磁石によりワークＷを吸着する電磁チャックなどを挙げることができる。

【0015】

第１アーム駆動部３０は、モータ３２とエンコーダ３４とを備える。モータ３２の回転軸は、図示しない減速機を介して第１関節軸Ｊ１に連結されている。第１アーム駆動部３０は、モータ３２を駆動することで減速機を介して第１関節軸Ｊ１に伝達されるトルクにより、第１関節軸Ｊ１を支点に第１アーム２１を回動させる。エンコーダ３４は、モータ３２の回転軸に取り付けられ、モータ３２の回転変位量を検出するロータリエンコーダとして構成される。

【0016】

第２アーム駆動部４０は、第１アーム駆動部３０と同様に、モータ４２とエンコーダ４４とを備える。モータ４２の回転軸は、図示しない減速機を介して第２関節軸Ｊ２に連結されている。第２アーム駆動部４０は、モータ４２を駆動することで減速機を介して第２関節軸Ｊ２に伝達されるトルクにより、第２関節軸Ｊ２を支点に第２アーム２２を回動させる。エンコーダ４４は、モータ４２の回転軸に取り付けられ、モータ４２の回転変位量を検出するロータリエンコーダとして構成される。

【0017】

シャフト駆動部５０は、モータ５２ａ，５２ｂとエンコーダ５４ａ，５４ｂとを備える。モータ５２ａの回転軸は、図示しないベルトを介してシャフト２３に接続されている。シャフト駆動部５０は、モータ５２ａを駆動することによりシャフト２３を軸周りに回転させる。モータ５２ｂの回転軸は、図示しないボールねじ機構を介してシャフト２３に接続されている。シャフト駆動部５０は、モータ５２ｂを駆動することにより、ボールねじ機構によりモータ５２ｂの回転運動が直動運動に変換されることでシャフト２３を上下に昇降させる。エンコーダ５４ａは、シャフト２３の回転変位量を検出するロータリエンコーダとして構成される。エンコーダ５４ｂは、シャフト２３の昇降位置を検出するリニアエンコーダとして構成される。

【0018】

制御装置９０は、図２に示すように、ＣＰＵ９１と、処理プログラムを記憶するＲＯＭ９２と、ワークメモリとしてのＲＡＭ９３と、ＨＤＤやＳＳＤ等の記憶装置９４と、入出力インタフェース（図示せず）とを備える。制御装置９０には、エンコーダ３４，４４，５４ａ，５４ｂからの位置信号やハンドカメラ６０からの画像信号などが入出力インタフェースを介して入力される。制御装置９０からは、モータ３２，４２，５２ａ，５２ｂへの駆動信号などが入出力インタフェースを介して出力される。

【0019】

ハンドカメラ６０は、第２アーム２２の先端部に取り付けられている。ハンドカメラ６０は、ワーク供給部ＰのワークＷを上から撮像し、その撮像画像を制御装置９０へ出力する。制御装置９０は、撮像画像を処理することによりワークＷの位置を認識する。なお、ハンドカメラ６０は第２アーム２２に取り付けられているから、本実施形態では、ロボットアーム２０は、ハンドカメラ６０を上下方向に移動させることはできない。

【0020】

ワークカメラ７０は、作業台２におけるワーク供給部Ｐと基板Ｓとの間に設置されている。ワークカメラ７０は、上部に矩形状の開口部７１ａを有する収容ボックス７１に収容されている。ワークカメラ７０は、ロボット１０のワーク保持部２４に保持されたワークＷを下から撮像し、その撮像画像を制御装置９０へ出力する。制御装置９０は、撮像画像を処理することによりワーク保持部２４にワークＷが正常に保持されているか否かを判定する。

【0021】

次に、こうして構成されたロボットシステム１の動作について説明する。ロボットシステム１の動作には、ワーク位置認識動作と採取動作と採取確認動作と実装動作とが含まれる。ワーク位置認識動作は、ハンドカメラ６０によりワークＷを撮像してワークＷの位置を認識する。採取動作は、認識したワークＷの位置にロボットシステム１の手先（ワーク保持部２４）を移動させてワークＷを採取する。採取確認動作は、手先に採取したワークＷをワークカメラ７０の上方へ移動させると共にワークカメラ７０でワークＷを撮像してワークＷの採取状態の良否を確認する。実装動作は、採取したワークＷを基板Ｓに実装する。

【0022】

ここで、ロボットシステム１の座標系について説明する。本実施形態では、図２，図３に示すように、ロボットシステム１の座標系として、ワールド座標系Σ_wとベース座標系Σ_bとカメラ座標系Σ_cとメカニカルインタフェース座標系Σ_mとを有する。ワールド座標系Σ_wは、原点がメインポール３ａの先端に設定され、Ｘ軸がメインポール３ａの先端とサブポール３ｂの先端とを通る方向に設定され、Ｚ軸が鉛直方向に設定され、Ｙ軸がＸ軸およびＺ軸に直交する方向に設定される。ベース座標系Σ_bは、原点がロボット１０のベース１１の底面に設定され、Ｘ軸，Ｙ軸およびＺ軸がそれぞれワールド座標系Σ_wの対応する軸と方向が一致するように設定される。メカニカルインタフェース座標系Σ_mは、原点がロボットアーム２０の手先に設定され、Ｘ軸，Ｙ軸およびＺ軸がそれぞれワールド座標系Σ_wの対応する軸と方向が一致するように設定される。カメラ座標系Σ_cは、原点が第２アーム２２の底面であって第３関節軸Ｊ３の中心に設定され、Ｘ軸，Ｙ軸およびＺ軸がそれぞれワールド座標系Σ_wの対応する軸と方向が一致するように設定される。ワールド座標系Σ_wとベース座標系Σ_bとカメラ座標系Σ_cとメカニカルインタフェース座標系Σ_mとは、変換行列を用いて相互に変換される。

【0023】

ワーク位置認識動作において、制御装置９０のＣＰＵ９１は、まず、ワーク供給部Ｐから供給されるワークＷを撮像するためのベース１１（図１に示すベース座標系Σ_b）から見たハンドカメラ６０の目標位置Ｘ_btag，Ｙ_btag，Ｚ_btagを設定する。続いて、ＣＰＵ９１は、ハンドカメラ６０の目標位置Ｘ_btag，Ｙ_btag，Ｚ_btagに対して逆運動学を解くことにより、ハンドカメラ６０の位置を目標位置Ｘ_btag，Ｙ_btag，Ｚ_btagに一致させるための第１関節軸Ｊ１の角度θ_J1と第２関節軸Ｊ２の角度θ_J2とを算出する。

【0024】

次に、ＣＰＵ９１は、第１アーム２１のねじれ，たわみや、第２アーム２２のたわみ等の誤差要因を考慮して、第１関節軸Ｊ１の角度θ_J1と第２関節軸Ｊ２の角度θ_J2とに基づいて順運動学を解くことにより、ハンドカメラ６０の推定位置Ｘ_best，Ｙ_best，Ｚ_bestを算出する。すなわち、ＣＰＵ９１は、ハンドカメラ６０の位置が目標位置Ｘ_btag，Ｙ_btag，Ｚ_btagと一致するように逆運動学により算出される第１および第２関節軸Ｊ１，Ｊ２の角度θ_J1，θ_J2を角度指令値として制御したと仮定した場合に、第１アーム２１のねじれ，たわみや、第２アーム２２のたわみ等の誤差要因によって、目標位置Ｘ_btag，Ｙ_btag，Ｚ_btagからずれた位置である推定位置Ｘ_best，Ｙ_best，Ｚ_bestを算出する。

【0025】

ＣＰＵ９１は、推定位置Ｘ_best，Ｙ_best，Ｚ_bestを算出すると、算出した推定位置Ｘ_best，Ｙ_best，Ｚ_bestと目標位置Ｘ_btag，Ｙ_btag，Ｚ_btagとの差分をとることにより、位置ずれ量ΔＸ_b，ΔＹ_b，ΔＺ_bを算出する。続いて、ＣＰＵ９１は、目標位置Ｘ_btag，Ｙ_btag，Ｚ_btagを位置ずれ量ΔＸ_b，ΔＹ_b，ΔＺ_bの分だけオフセットした上で逆運動学を解くことによりハンドカメラ６０を目標位置Ｘ_btag，Ｙ_btag，Ｚ_btagに移動させるための第１関節軸Ｊ１の角度指令値θ_J1＊と第２関節軸Ｊ２の角度指令値θ_J2＊とを算出する。そして、ＣＰＵ９１は、エンコーダ３４により検出される第１関節軸Ｊ１の角度が算出した角度指令値θ_J1＊に一致すると共にエンコーダ４４により検出される第２関節軸Ｊ２の角度が算出した角度指令値θ_J2＊に一致するようフィードバック制御により対応するモータ３１，３２を制御する。

【0026】

次に、ＣＰＵ９１は、ワーク供給部Ｐから供給されたワークＷをハンドカメラ６０により撮像し、撮像画像に画像処理を施すことにより、ワークＷの位置を認識する。そして、ＣＰＵ９１は、ワークＷを採取するための手先（ワーク保持部２４）の目標位置Ｘ_btag，Ｙ_btagを認識したワークＷの位置に設定し、手先を目標位置Ｘ_btag，Ｙ_btag，Ｚ_btagに移動させて採取する採取動作へ移行する。目標位置Ｘ_btag，Ｙ_btagの設定は、認識したワークＷの位置に基づいて行なわれる。目標位置Ｚ_btagの設定は、予め入力されたワークＷの高さ情報に基づいて行なわれる。

【0027】

採取動作では、ＣＰＵ９１は、まず、手先を設定した目標位置（Ｘ_btag，Ｙ_btag，Ｚ_btag）に移動させるための第１関節軸Ｊ１の角度θ_J1と第２関節軸Ｊ２の角度θ_J2とシャフト２３の角度（シャフト角度）θ_J4とシャフト２３の昇降位置Ｚ_sとを逆運動学により算出する。続いて、ＣＰＵ９１は、第１アーム２１のねじれ，たわみや、第２アーム２２のたわみ等の誤差要因を考慮して、算出したθ_J1，θ_J2，θ_J4，Ｚ_sに基づいて手先の推定位置Ｘ_best，Ｙ_best，Ｚ_bestを順運動学により算出する。次に、ＣＰＵ９１は、手先の推定位置Ｘ_best，Ｙ_best，Ｚ_bestと目標位置Ｘ_btag，Ｙ_btag，Ｚ_btagとの差分をとることにより位置ずれ量ΔＸ_b，ΔＹ_b，ΔＺ_bを算出する。次に、ＣＰＵ９１は、目標位置Ｘ_btag，Ｙ_btag，Ｚ_btagを位置ずれ量ΔＸ_b，ΔＹ_b，ΔＺ_bの分だけオフセットした上で逆運動学を解くことにより手先を目標位置Ｘ_btag，Ｙ_btag，Ｚ_btagに移動させるための第１関節軸Ｊ１の角度指令値θ_J1＊と第２関節軸Ｊ２の角度指令値θ_J2＊とシャフト２３の角度指令値θ_J4＊とシャフト２３の昇降位置指令値Ｚ_s＊とを算出する。そして、ＣＰＵ９１は、各指令値に基づいて対応するモータ３１，３２，３３ａ，３３ｂをフィードバック制御により制御する。

【0028】

このように、ロボットシステム１は、ロボットアーム２０に取り付けられたハンドカメラ６０でワークＷを撮像してワークＷの位置を認識し、認識した位置にロボットアーム２０の手先を移動させてワークＷを採取する。このため、ロボットシステム１とハンドカメラ６０と位置関係が適切に把握されないと、ハンドカメラ６０によりワークＷの位置を正確に認識することができない。すなわち、ロボットシステム１の手先でワークＷを適切に採取することができない。そこで、本実施形態では、予め設計位置に対するハンドカメラ６０の位置ずれ量を測定し、測定した位置ずれ量をワーク位置認識動作における制御に反映させることで、ワークＷの位置を正確に認識できるようにした。なお、ロボットシステム１は校正済みであるものとする。

【0029】

図５は、ハンドカメラ位置測定手順を示す説明図である。ステップＳ１０は、マーク付きエンドエフェクタＥＥ（マークピン）をシャフト２３の先端に取り付ける。図６は、マーク付きエンドエフェクタＥＥの外観図である。マーク付きエンドエフェクタＥＥは、シャフト２３に取り付けられた状態で鉛直方向に延在するピン状の部材である。マーク付きエンドエフェクタＥＥのピンの先端には、マークＭが設けられている。

【0030】

ステップＳ２０は、ロボットシステム１に、ワークカメラ７０のワールド座標系Σ_wにおける位置（ハンドカメラ位置測定用ワークカメラ位置Ｘ_wwc，Ｙ_wwc，θ_wwc）を測定するハンドカメラ位置測定用ワークカメラ位置測定処理を実行させる。図７は、制御装置９０のＣＰＵ９１により実行されるハンドカメラ位置測定用ワークカメラ位置測定処理の一例を示すフローチャートである。ハンドカメラ位置測定用ワークカメラ位置測定処理では、ＣＰＵ９１は、まず、オペレータからのマーク付きエンドエフェクタＥＥの制御点Ｚｍ（固有値）の入力を受け付ける（ステップＳ１００）。制御点Ｚｍは、シャフト２３の先端とマーク付きエンドエフェクタＥＥの先端（マークＭ）との距離である。マーク付きエンドエフェクタＥＥの先端の座標は、メカニカルインタフェース座標系Σ_mの原点からＺ軸方向下方向にＺｍだけ離れた位置に設定される。続いて、ＣＰＵ９１は、オペレータによりワークカメラ位置測定ボタンが押下されるまで待機する（ステップＳ１１０）。ＣＰＵ９１は、ワークカメラ位置測定ボタンが押下されたと判定すると、マーク付きエンドエフェクタＥＥをワークカメラ７０の上方へ移動させ（ステップＳ１２０）、ワークカメラ７０でマーク付きエンドエフェクタＥＥの先端面に設けられたマークＭを撮像してワークカメラ７０の位置（ワークカメラ位置Ｘ_wwc，Ｙ_wwc，θ_wwcを測定する（ステップＳ１３０）。図８は、ハンドカメラ位置測定用ワークカメラ位置を測定する様子を示す説明図である。図示するように、ＣＰＵ９１は、ワークカメラ７０の設計上の中心位置を通るようにＸ軸方向およびＹ軸方向にそれぞれマーク付きエンドエフェクタＥＥの先端を移動させながら、ワークカメラ７０によりマークＭを撮像する。ＣＰＵ９１は、得られた撮像画像に写ったマークＭのＸ軸方向およびＹ軸方向のそれぞれの移動軌跡を取得する。そして、ＣＰＵ９１は、図９に示すように、撮像画像のＸ軸方向およびＹ軸方向のそれぞれにおいて、撮像画像の画像中心と取得した各移動軌跡の交点との差分を計算することによりワークカメラ７０の位置ずれ量Δｘ，Δｙを求める。さらに、ＣＰＵ９１は、図９に示すように、撮像画像のＸ軸方向と移動軌跡のＸ軸方向との回転方向における差分によりワークカメラ７０の回転ずれ量Δθを計算する。そして、ＣＰＵ９１は、ワークカメラ７０の設計上の中心位置を位置ずれ量Δｘ，Δｙだけオフセットした位置をワークカメラ位置Ｘ_wwc，Ｙ_wwcとして求めると共に、ワークカメラ７０を回転ずれ量Δθだけ回転方向にオフセットした角度をワークカメラ位置θ_wwcとして求める。ＣＰＵ９１は、こうしてワークカメラ位置Ｘ_wwc，Ｙ_wwc，θ_wwcを測定すると、測定したワークカメラ位置Ｘ_wwc，Ｙ_wwc，θ_wwcを記憶装置９４に登録して（ステップＳ１４０）、本処理を終了する。

【0031】

ステップＳ３０は、収容ボックス７１の上部に設けられた開口部７１ａにハンドカメラ位置測定用の穴治具８０を取り付ける。図１０は、穴治具の取付の様子を示す説明図である。図示するように、穴治具８０は、収容ボックス７１の開口部７１ａに嵌合された状態で固定具８２により固定される。穴治具８０には、ワークカメラ７０の真上に位置すると共に上下に貫通する中心穴８１ａと、中心穴８１ａに周囲にそれぞれ周方向に間隔をおいて位置すると共に上下に貫通する３点穴８１ｂと、が形成されている。なお、３点穴８１ｂの穴の数は、３つに限られず、２つであってもよいし、４つ以上であってもよい。

【0032】

ステップＳ４０は、ロボットシステム１に、ワークカメラ７０により穴治具８０の中心穴８１ａのワールド座標系Σ_wにおける位置（中心穴位置Ｘ_wwv，Ｙ_wwv，Ｚ_wwv）を測定するハンドカメラ位置測定用穴位置測定処理を実行させる。図１１は、制御装置９０のＣＰＵ９１により実行されるハンドカメラ位置測定用穴位置測定処理の一例を示すフローチャートである。ハンドカメラ位置測定用穴位置測定処理では、ＣＰＵ９１は、まず、オペレータによりハンドカメラ位置測定ボタンが押下されるまで待機する（ステップＳ２００）。ＣＰＵ９１は、ハンドカメラ位置測定ボタンが押下されたと判定すると、ワークカメラ７０で穴治具８０を撮像して、得られた撮像画像から穴治具８０の３点穴８１ｂの距離ａ_mを測定する（ステップＳ２１０）。図１２は、ワークカメラで穴治具の３点穴を撮像する様子を示す説明図である。３点穴８１ｂの距離ａ_mの測定は、撮像画像に写った３点穴８１ｂの穴間の距離を測定することにより行なわれる。そして、ＣＰＵ９１は、測定した３点穴８１ｂの距離ａ_mに基づいて次式（１）によりハンドカメラ位置測定用中心穴位置Ｚ_wwvを計算し（ステップＳ２２０）、計算した中心穴位置Ｚ_wwvを記憶装置９４に登録する（ステップＳ２３０）。式（１）中、ａ₀は、３点穴８１ｂの設計上の距離を示し、ＷＤは、ワークカメラ７０のワーキングディスタンスを示し、Ｚは、ワークカメラ７０の撮像高さを示す。

【0033】

【数1】

【0034】

次に、ＣＰＵ９１は、ステップＳ２１０で得られた撮像画像から穴治具８０のワールド座標系Σ_wにおける中心穴位置Ｘ_wwv，Ｙ_wwvを測定する（ステップＳ２４０）。そして、ＣＰＵ９１は、測定した中心穴位置Ｘ_wwv，Ｙ_wwvを記憶装置９４に登録して（ステップＳ２５０）、本処理を終了する。

【0035】

ステップＳ５０は、ロボットシステム１に、ハンドカメラ６０の角度（位置θ_ci）を測定するハンドカメラ角度測定処理を実行させる。図１３は、制御装置９０のＣＰＵ９１により実行されるハンドカメラ角度測定処理の一例を示すフローチャートである。ハンドカメラ角度測定処理では、ＣＰＵ９１は、まず、ワークカメラ７０によりハンドカメラ位置測定用の穴治具８０を撮像して穴治具８０の３点穴８１ｂのワールド座標系Σ_wにおける位相θ_wwvを測定し（ステップＳ３００）、測定した３点穴位相θ_wwvを記憶装置９４に登録する（ステップＳ３１０）。３点穴位相θ_wwvの測定は、得られた撮像画像に写った３点穴８１ｂの各穴を結ぶ三角形のＸ軸に対する角度を求めることにより行なわれる。続いて、ＣＰＵ９１は、図１４に示すように、ハンドカメラ６０の制御点を、ステップＳ２０で登録したハンドカメラ位置測定用ワークカメラ位置Ｘ_wwc，Ｙ_wwcとステップＳ４０で登録したハンドカメラ位置測定用中心穴位置Ｚ_wwvとに移動させる（ステップＳ３２０）。次に、ＣＰＵ９１は、ハンドカメラ６０により穴治具８０を撮像し、得られた撮像画像に基づいてステップＳ３００と同様に穴治具８０の３点穴８１ｂのワールド座標系Σ_wにおける位相θ_whvを測定する（ステップＳ３３０）。そして、ＣＰＵ９１は、ステップＳ３００，Ｓ３１０でワークカメラ７０を用いて測定した３点穴位相θ_wwvとステップＳ３３０でハンドカメラ６０を用いて測定した３点穴位相θ_whvとに基づいてハンドカメラ位置θ_ciを計算し（ステップＳ３４０）、計算したハンドカメラ位置θ_ciを記憶装置９４に登録して（ステップＳ３５０）、本処理を終了する。図１５は、ワークカメラとハンドカメラとでそれぞれ測定した３点穴位相θを示す説明図である。図示するように、ハンドカメラ位置θ_ciの計算は、ワークカメラ７０により下から測定した３点穴位相θ_wwvとハンドカメラ６０により上から測定した３点穴位相θ_whvとの差分θｅ（＝θ_wwv－θ_whv）を計算し、差分θｅの分だけ設計上のハンドカメラ位置（固有値）を回転方向にオフセットすることにより行なわれる。

【0036】

ステップＳ６０は、ロボットシステム１に、ハンドカメラ６０の位置（ハンドカメラ位置Ｘ_ci，Ｙ_ci）を測定するハンドカメラ位置測定処理を実行させる。図１６は、制御装置により実行されるハンドカメラ位置測定処理の一例を示すフローチャートである。ハンドカメラ位置測定処理では、ＣＰＵ９１は、まず、オペレータによりハンドカメラ位置測定ボタンが押下されるまで待機する（ステップＳ４００）。ＣＰＵ９１は、ハンドカメラ位置測定ボタンが押下されたと判定すると、ハンドカメラ６０の制御点を、ステップＳ２０で登録したハンドカメラ位置測定用ワークカメラ位置Ｘ_wwc，Ｙ_wwcとステップＳ４０で登録したハンドカメラ位置測定用中心穴位置Ｚ_wwvとに移動させる（ステップＳ４１０）。続いて、ＣＰＵ９１は、ハンドカメラ６０により穴治具８０を撮像し、得られた撮像画像から中心穴位置Ｘ_whv，Ｙ_whvを測定する（ステップＳ４２０）。次に、ＣＰＵ９１は、図１８に示すように、撮像画像の画像中心と測定した中心穴位置Ｘ_whv，Ｙ_whvとの距離Ｌを計算する（ステップＳ４３０）。距離Ｌは、画像中心を原点として中心穴位置Ｘ_whvをａとし、中心穴位置Ｙ_whvをｂとすると、次式（２）により計算することができる。そして、ＣＰＵ９１は、計算した距離Ｌが予め定められた許容値Ｌｒｅｆ以下であるか否かを判定する（ステップＳ４４０）。ＣＰＵ９１は、距離Ｌが許容値Ｌｒｅｆ以下でないと判定すると、距離Ｌが許容値Ｌｒｅｆ以下となるまでステップＳ４１０に戻って処理を繰り返し、距離Ｌが許容値Ｌｒｅｆ以下となると、ステップＳ４５０に進む。なお、距離Ｌが許容値Ｌｒｅｆ以下であるか否かに拘わらず、ステップＳ４５０に進んでもよい。

【0037】

【数2】

【0038】

ＣＰＵ９１は、距離Ｌが許容値Ｌｒｅｆ以下であると判定すると、マーク付きエンドエフェクタＥＥ（マークピン）の制御点を、ステップＳ２０で登録したハンドカメラ位置測定用ワークカメラ位置Ｘ_wwc，Ｙ_wwcとステップＳ４０で登録したハンドカメラ位置測定用穴位置Ｚ_wwvとに移動させる（ステップＳ４５０）。続いて、ＣＰＵ９１は、マーク付きエンドエフェクタＥＥを０°，９０°，１８０°，２７０°の角度にそれぞれ回転させ、各角度においてワークカメラ７０によりマークＭを撮像してワールド座標系Σ_wにおけるマークピン位置（Ｘ０，ｙ０），（Ｘ９０，Ｙ９０），（Ｘ１８０，Ｙ１８０），（Ｘ２７０，Ｙ２７０）を測定する（ステップＳ４６０）。次に、ＣＰＵ９１は、マークピン位置（Ｘ０，Ｙ０），（Ｘ９０，Ｙ９０），（Ｘ１８０，Ｙ１８０），（Ｘ２７０，Ｙ２７０）の平均値Ｘ_mc，Ｙ_mcを次式（３）により計算する。さらに、ＣＰＵ９１は、ステップＳ４０でワークカメラ７０により測定したハンドカメラ位置測定用中心穴位置Ｘ_wwc，Ｙ_wwcとマークピン位置（平均値）Ｘ_mc，Ｙ_mcとの差分を次式（４）により計算することにより、エンドエフェクタ中心のハンドカメラ位置測定用穴中心位置Ｘ_wwv，Ｙ_wwvからの位置ずれ量Ｘ_me，Ｙ_meを算出する（ステップＳ１９０）。図１９に、マークピン位置（平均値）Ｘ_mc，Ｙ_mcとハンドカメラ位置測定用穴中心位置Ｘ_wwv，Ｙ_wwvと位置ずれ量Ｘ_me，Ｙ_meとの関係を示す。

【0039】

【数3】

【0040】

そして、ＣＰＵ９１は、位置ずれ量Ｘ_me，Ｙ_meの座標系を、ワールド座標系Σ_wからカメラ座標系Σ_cに変換し、変換後の位置ずれ量Ｘ_rme，Ｙ_rme分だけ設計上のハンドカメラ位置Ｘ_mo，Ｙ_mo（固有値）をオフセットした新たなハンドカメラ位置Ｘ_ci，Ｙ_ciを計算する（ステップＳ４７０）。位置ずれ量Ｘ_me，Ｙ_meの座標系をワールド座標系Σ_wからカメラ座標系Σ_cへ変換するためには、位置ずれ量Ｘ_me，Ｙ_meをワールド座標系Σ_wとカメラ座標系Σ_cとの位相差θｒｍ分だけ回転させればよい。ワールド座標系Σ_wにおけるロボット１０のベース原点の位相をθ_rwとし、ハンドカメラ６０により穴治具８１の中心穴８１ａを撮像した際の第１関節軸Ｊ１および第２関節軸Ｊ２の各回転角をθ_J1，θ_J2とすると、位相差θｒｍは、次式（５）により計算される。したがって、変換後の位置ずれ量Ｘ_rme，Ｙ_rmeは、次式（６）および式（７）の回転行列を用いて計算することができる。新たなハンドカメラ位置Ｘ_mm，Ｙ_mmは、固有値であるハンドカメラ位置Ｘ_mo，Ｙ_moを用いて次式（８）により計算することができ、これがハンドカメラ位置Ｘ_ci，Ｙ_ciとなる。ＣＰＵ９１は、こうして新たなハンドカメラ位置Ｘ_ci，Ｙ_ciを計算すると、計算したハンドカメラ位置Ｘ_ci，Ｙ_ciを記憶装置９４に登録する（ステップＳ４８０）。

【0041】

【数4】

【0042】

さらに、ＣＰＵ９１は、ハンドカメラ位置変化量Ｅを次式（９）により計算し（ステップＳ４９０）、ハンドカメラ位置変化量Ｅが予め定められた許容値Ｅｒｅｆ以下であるか否かを判定する（ステップＳ５００）。ＣＰＵ９１は、ハンドカメラ位置変化量Ｅが許容値Ｅｒｅｆ以下でないと判定すると、ステップＳ４００に戻り、ハンドカメラ位置変化量Ｅが許容値Ｅｒｅｆ以下であると判定すると、これで本処理を終了する。これにより、記憶装置９４には、正確なハンドカメラ位置Ｘ_ci，Ｙ_ci，θ_ciが記憶される。このため、ＣＰＵ９１は、記憶装置９４に記憶されたハンドカメラ位置Ｘ_ci，Ｙ_ci，θ_ciを用いてハンドカメラ６０の位置を制御することにより、ハンドカメラ６０により撮像されたワークＷ（対象物）の位置を正確に把握することができるため、ワークＷに対する作業をより正確に行なうことが可能となる。

【0043】

【数5】

【0044】

ステップＳ７０は、マーク付きエンドエフェクタＥＥとハンドカメラ位置測定用の穴治具８０を取り外す。これにより、ハンドカメラ位置測定手順が完了する。

【0045】

ここで、実施形態の主要な要素と請求の範囲に記載した本開示の主要な要素との対応関係について説明する。即ち、本実施形態では、ロボット１０がロボットに相当し、ハンドカメラ６０がハンドカメラに相当し、ワークカメラ７０が外部カメラに相当し、穴治具８０が治具部材に相当し、中心穴８１ａが第１測定用穴に相当し、ハンドカメラ位置測定用穴位置測定処理のステップＳ２４０，Ｓ２５０の処理を実行する制御装置９０のＣＰＵ９１が第１位置取得部に相当し、ハンドカメラ位置測定処理のステップＳ４１０，Ｓ４２０の処理を実行する制御装置９０のＣＰＵ９１が第２位置取得部に相当し、ハンドカメラ位置測定処理のステップＳ４５０～Ｓ４８０の処理を実行する制御装置９０のＣＰＵ９１が位置ずれ測定部に相当する。また、ハンドカメラ位置測定用ワークカメラ位置測定処理を実行する制御装置９０のＣＰＵ９１が外部カメラ位置取得部に相当し、ハンドカメラ角度測定処理のステップＳ３００，Ｓ３１０の処理を実行する制御装置９０のＣＰＵ９１が第１位相取得部に相当し、ハンドカメラ角度測定処理のステップＳ３２０，Ｓ３３０の処理を実行する制御装置９０のＣＰＵ９１が第２位相取得部に相当し、ハンドカメラ角度測定処理のステップＳ３４０の処理を実行する制御装置９０のＣＰＵ９１が位相ずれ測定部に相当する。また、ハンドカメラ位置測定用穴位置測定処理のステップＳ２１０，Ｓ２２０の処理を実行する制御装置９０のＣＰＵ９１が高さ取得部に相当する。

【0046】

なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

【0047】

例えば、上述した実施形態では、ロボット１０は、水平多関節ロボット（スカラロボット）として構成されたが、これに限定されるものではなく、例えば垂直多関節ロボットなど、他の如何なる構成により構成されてもよい。

【0048】

以上説明したように、本開示のカメラの位置ずれ測定装置は、ロボットアームと該ロボットアームに取り付けられたハンドカメラとを有するロボットと、前記ロボットの外部に設置された外部カメラと、を備えるロボットシステムにおいて、前記ハンドカメラの位置ずれを測定するカメラの位置ずれ測定装置であって、前記外部カメラの上方に設置され、上下に貫通する第１測定用穴を有する治具部材と、前記外部カメラにより前記治具部材を撮像し、得られた前記第１測定用穴の撮像画像から前記第１測定用穴の位置を取得する第１位置取得部と、前記第１位置取得部により取得された位置に前記ハンドカメラを移動させて前記ハンドカメラにより前記治具部材を撮像し、得られた前記第１測定用穴の撮像画像から前記第１測定用穴の位置を取得する第２位置取得部と、前記第２位置取得部により取得された前記第１測定用穴の位置に前記ロボットの手先を移動させて前記外部カメラにより前記ロボットの手先を撮像し、得られた撮像画像から前記カメラの位置ずれを測定する位置ずれ測定部と、を備えることを要旨とする。

【0049】

この本開示のカメラの位置ずれ測定装置は、外部カメラの上方に設置され、上下に貫通する第１測定用穴を有する治具部材を含む。さらに、位置ずれ測定装置は、外部カメラにより治具部材を撮像して第１測定用穴の位置を取得し、取得された位置にハンドカメラを移動させてハンドカメラにより治具部材を撮像して第１測定用穴の位置を取得する。そして、位置ずれ測定装置は、その取得した第１測定用穴の位置にロボットの手先を移動させて外部カメラによりロボットの手先を撮像し、カメラの位置ずれを測定する。これにより、ロボットのアームに取り付けられたカメラの位置ずれを適切に測定することができる。

【0050】

こうした本開示のカメラの位置ずれ測定装置において、前記外部カメラの上方に設置され、前記第１測定用穴とは別に上下に貫通する複数の第２測定用穴を有する治具部材と、前記外部カメラの上方に前記ロボットの手先を移動させて前記外部カメラにより前記手先を撮像し、得られた前記手先の撮像画像から前記外部カメラの位置を取得する外部カメラ位置取得部と、前記外部カメラにより前記治具部材を撮像し、得られた前記第２測定用穴の撮像画像から前記第２測定用穴の位相を取得する第１位相取得部と、前記外部カメラ位置取得部により取得された前記外部カメラの位置に前記ハンドカメラを移動させて前記ハンドカメラにより前記治具部材を撮像し、得られた前記第２測定用穴の撮像画像から前記第２測定用穴の位相を取得する第２位相取得部と、前記第１位相取得部および前記第２位相取得部によりそれぞれ取得された第２測定用穴の位相に基づいて前記ハンドカメラの位相ずれを測定する位相ずれ測定部と、を備えてもよい。こうすれば、治具部材と外部カメラとを用いて、ハンドカメラの位置ずれに加えて位相ずれも適切に測定することができる。なお、第２測定用穴は、治具部材の第１測定用穴の周囲に周方向に間隔を置いて形成されてもよい。

【0051】

また、本開示のカメラの位置ずれ測定装置において、前記外部カメラの上方に設置され、前記第１測定用穴とは別に上下に貫通する複数の第２測定用穴を有する治具部材と、前記外部カメラにより前記治具部材を撮像し、得られた前記第２測定用穴の撮像画像から前記第１測定用穴の高さを取得する高さ取得部と、を備え、前記第２位置取得部は、前記第１位置取得部により取得された位置および前記高さ取得部により取得された高さに前記ハンドカメラを移動させてもよい。こうすれば、治具部材の設置高さに誤差が含まれていても、ハンドカメラの位置ずれを良好に測定することができる。

【0052】

さらに、本開示のカメラの位置ずれ測定装置において、前記外部カメラの上方に設置され、前記第１測定用穴とは別に上下に貫通する複数の第２測定用穴を有する治具部材と、前記外部カメラにより前記治具部材を撮像し、得られた前記第２測定用穴の撮像画像から前記第１測定用穴の高さを取得する高さ取得部と、を備え、前記位置ずれ測定部は、前記第２位置取得部により取得された位置および前記高さ取得部により取得された高さに前記ハンドカメラを移動させてもよい。こうすれば、治具部材の設置高さに誤差が含まれていても、ハンドカメラの位置ずれを良好に測定することができる。

【0053】

なお、本開示は、カメラの位置ずれ測定装置の形態としたが、カメラの位置ずれ測定方法の形態としてもよい。

【産業上の利用可能性】

【0054】

本開示は、ロボットシステムの製造産業などに利用可能である。

【符号の説明】

【0055】

１ ロボットシステム、２ 作業台、３ａ メインポール 、３ｂ サブポール、１０ ロボット、１１ ベース、２０ ロボットアーム、２１ 第１アーム、２２ 第２アーム、２３ シャフト、２４ ワーク保持部、３０ 第１アーム駆動部、３１ モータ、３２ モータ、３３ａ モータ、３３ｂ モータ、３４ エンコーダ、４０ 第２アーム駆動部、４２ モータ、４４ エンコーダ、５０ シャフト駆動部、５２ａ モータ、５２ｂ モータ、５４ａ エンコーダ、５４ｂ エンコーダ、６０ ハンドカメラ、７０ ワークカメラ、７１ 収容ボックス、７１ａ 開口部、８０ 穴治具、８１ａ 中心穴、８１ｂ ３点穴、８２ 固定具、９０ 制御装置、９１ ＣＰＵ、９２ ＲＯＭ、９３ ＲＡＭ、９４ 記憶装置、ＥＥ マーク付きエンドエフェクタ、Ｊ１ 第１関節軸、Ｊ２ 第２関節軸、Ｊ３ 第３関節軸、Ｍ マーク、Ｐ ワーク供給部、Ｓ 基板。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】