特許 7427370 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-26

(45)【発行日】2024-02-05

(54)【発明の名称】撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体

(51)【国際特許分類】

   G01B 11/245 20060101AFI20240129BHJP

   G01B 11/00 20060101ALI20240129BHJP

   G01C 3/06 20060101ALI20240129BHJP

   B25J 13/08 20060101ALI20240129BHJP

【ＦＩ】

G01B11/245 H

G01B11/00 H

G01C3/06 120P

B25J13/08 A

【請求項の数】 16

(21)【出願番号】P 2019094047

(22)【出願日】2019-05-17

(65)【公開番号】P2020190411

(43)【公開日】2020-11-26

【審査請求日】2022-05-06

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】檀 慶太

【審査官】眞岩 久恵

(56)【参考文献】

【文献】特開２０１７－１６７１２６（ＪＰ，Ａ）

【文献】特開２０１８－１２８３９７（ＪＰ，Ａ）

【文献】特開２０１７－０４０５４９（ＪＰ，Ａ）

【文献】特開２０１６－１６９９８９（ＪＰ，Ａ）

【文献】特開２０１７－００３２７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０１Ｃ ３／０６

Ｂ２５Ｊ １３／０８

(57)【特許請求の範囲】

【請求項1】

第１の瞳領域および第２の瞳領域を有するレンズを通して対象を撮影する撮像素子を有する撮像装置と、
処理部を有する処理装置と、
を備える３次元計測装置であって、
前記レンズは、前記第１の瞳領域と前記第２の瞳領域とが並ぶ第１の方向とは別の、前記第１の方向に直交する第２方向と前記第１の方向および前記第２の方向に直交する第３方向とにおいて変位しないように前記撮像装置に拘束されており、
前記処理部は、前記第１の瞳領域と前記第２の瞳領域との相対的な第１の位置関係を表す第１のパラメータを、前記第１の位置関係が前記第１の瞳領域と前記第２の瞳領域との前記第１の方向における位置関係を示す１自由度で表されたモデルを用いて設定し、前記撮像素子が計測対象を撮影して得られた画像信号および前記第１のパラメータを用いて３次元計測を行う、
ことを特徴とする３次元計測装置。

【請求項2】

前記撮像素子は、前記第１の瞳領域を通過した光を受光する第１の光電変換素子と、
前記第２の瞳領域を通過した光を受光する第２の光電変換素子と、を有している、
ことを特徴とする請求項１に記載の３次元計測装置。

【請求項3】

前記撮像素子には、１つのマイクロレンズと、前記第１の光電変換素子と、前記第２の光電変換素子と、を含む画素が配列されており、
前記第１の光電変換素子が、前記１つのマイクロレンズを介して、前記第１の瞳領域を通過した光を受光し、前記第２の光電変換素子が、前記１つのマイクロレンズを介して、前記第２の瞳領域を通過した光を受光する、
ことを特徴とする請求項２に記載の３次元計測装置。

【請求項4】

前記処理部が行う前記３次元計測は、
前記画像信号に前記第１のパラメータを用いてステレオ平行化処理を施し、前記ステレオ平行化処理後の前記画像信号から演算された視差を用いて行う、
ことを特徴とする請求項１から３のいずれか１項に記載の３次元計測装置。

【請求項5】

前記処理部は、
前記第１の光電変換素子と前記第１の瞳領域との相対的な第２の位置関係を表す第２のパラメータと、
前記第２の光電変換素子と前記第２の瞳領域との相対的な第３の位置関係を表す第３のパラメータと、を設定し、
前記第２のパラメータおよび前記第３のパラメータをさらに用いて前記３次元計測を行う、
ことを特徴とする請求項２または３に記載の３次元計測装置。

【請求項6】

前記第２のパラメータおよび前記第３のパラメータは、前記第１の光電変換素子と前記第１の瞳領域との距離と、前記第２の光電変換素子と前記第２の瞳領域との距離が等しくなるように計算されたモデルである、
ことを特徴とする請求項５に記載の３次元計測装置。

【請求項7】

前記処理部は、
前記撮像素子がマーカを撮影して得られた画像を用いて、前記第１のパラメータを設定する、
ことを特徴とする請求項１から６のいずれか１項に記載の３次元計測装置。

【請求項8】

請求項１から７のいずれか１項に記載の３次元計測装置と、
ロボット装置と、を備えたシステムであって、
前記３次元計測装置を用いて、前記ロボット装置を制御する、
ことを特徴とするシステム。

【請求項9】

請求項８に記載のシステムを用いて、前記ロボット装置が、第１の対象物を把持し、第２の対象物に組み付けることで物品の製造を行うことを特徴とする物品の製造方法。

【請求項10】

請求項１から７のいずれか１項に記載の３次元計測装置を構成するカメラであって、
前記カメラの内部に前記処理部を設けた
ことを特徴とするカメラ。

【請求項11】

前記第３の方向は、前記撮像素子の撮像面に直交する、
ことを特徴とする請求項１から７のいずれか１項に記載の３次元計測装置。

【請求項12】

請求項１に記載の３次元計測装置を用い、前記撮像素子で撮影された画像に画像処理を行う画像処理方法であって、
前記画像信号から視差を求め、前記視差を用いて前記３次元計測を行う、
ことを特徴とする画像処理方法。

【請求項13】

前記処理部が、
前記第１の瞳領域を通過した光によって形成される第１の画像に対応した第１の画像信号と、前記第２の瞳領域を通過した光によって形成される第２の画像も対応した第２の画像信号と、から視差を求め、前記視差を用いて前記３次元計測を行う、
ことを特徴とする請求項１２に記載の画像処理方法。

【請求項14】

請求項１に記載の３次元計測装置を用いて、前記第１のパラメータを校正する校正方法であって、
前記撮像素子がマーカを撮影して得られた画像を用いて、前記第１のパラメータを設定する、
ことを特徴とする校正方法。

【請求項15】

請求項１２または請求項１３に記載の画像処理方法、または請求項１４に記載の校正方法を実行可能な制御プログラム。

【請求項16】

請求項１５に記載の制御プログラムを記録した、コンピュータで読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関する。

【背景技術】

【0002】

近年、ロボット装置により所定の対象物を操作し、組立作業を実現する生産装置が広く用いられるようになっている。このような生産装置において、対象物のピッキングや組立作業を高精度に行うために、ロボット装置と３次元視覚センサを組み合わせた生産装置が知られている。

【0003】

３次元視覚センサとしては、ステレオカメラのような三角測量の原理に基づいて計測対象の距離を測定する撮像装置が広く用いられている。このような撮像装置を用いてＸＹＺ方向の３次元計測を行う場合には、事前に当該撮像装置に対して、撮像装置の内部・外部パラメータを求める必要がある。ここで、図１０を用いて内部パラメータと外部パラメータについて説明する。

【0004】

図１０は２台のピンホールカメラＡ、Ｂが配置されたステレオカメラとしての撮像装置をモデル化したものである。ピンホールの位置が光学中心であり、空間の計測点は、そこから光学中心を通る直線と画像面（Ａ像、Ｂ像）が交わったところに像を結ぶ。ここで光学中心を原点とし、光学中心を通り画像面と直交する方向を図１０中のｚ軸にとる。したがってＸＹ平面が画像面になる。このような座標系を撮像装置座標系（Ｃ_Ａ、Ｃ_Ｂ）と呼ぶ。また所定の空間における撮像装置の位置をワールド座標系Ｗで表すものとする。光学中心から画像面までの距離はレンズの焦点距離に相当する。

【0005】

また、光学中心から画像面に下した垂線と画像面の交点（画像中心）を原点とし、画像の縦横方向をｘｙ軸にとる座標系を画像座標系（Ｓ_Ａ、Ｓ_Ｂ）と呼ぶ。内部パラメータは、画像座標系（Ｓ_Ａ、Ｓ_Ｂ）と撮像装置座標系（Ｃ_Ａ、Ｃ_Ｂ）間のそれぞれの相対関係を表すパラメータである。具体的には、撮像装置の光学特性を意味し、画像中心、焦点距離、セル（画素）サイズ、および、レンズ歪特性等で表せる。

【0006】

一方、外部パラメータとは、ピンホールカメラＡの撮像装置座標系Ｃ_Ａと、ピンホールカメラＢの撮像装置座標系Ｃ_Ｂ間の相対関係であり、ピンホールカメラＡとピンホールカメラＢとの相対的な位置姿勢により定まる。内部・外部パラメータが定まり、２つのピンホールカメラの撮影画像での計測点の対応付けを行えば、計測点の視差が求まる。よって三角測量の原理により、３次元計測が可能となる。

【0007】

以上３次元計測を高精度に行うためには、画像座標系（Ｓ_Ａ、Ｓ_Ｂ）および撮像装置座標系（Ｃ_Ａ、Ｃ_Ｂ）の相対関係が重要となり、内部・外部パラメータを高精度に求める必要がある。しかし、内部・外部パラメータを高精度に直接計測するには、精密にカメラの光学特性を測定する必要があるが、光学特性を直接計測するのは非常に困難である。そこで、非特許文献１に記載されているように、あらかじめ形状が既知な校正チャートを、内部・外部パラメータを求めることが必要な２つのカメラで撮影し、画像座標系上での座標を求め、これを所定のモデルにあてはめる。こうすることで、内部・外部パラメータを求める手法が記載されている。この際、２つのカメラの相対的な位置姿勢を表す外部パラメータは、ＸＹＺ方向の並進３成分、および回転３成分を合わせた６自由度でモデル化された上で算出される。

【先行技術文献】

【非特許文献】

【0008】

【文献】Ｚ．Ｚｈａｎｇ， “Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ”，（ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．２２， Ｎｏ．１１， ｐａｇｅｓ １３３０－１３３４）

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、基線長が短い撮像装置に対して、非特許文献１に記載されたような手法で内部・外部パラメータを算出した場合、基線方向以外の外部パラメータの推定誤差が少しでも発生すると、校正により定まるエピポーラ線が大きくずれる。これにより計測点の計測精度が悪くなる。図１１は外部パラメータの推定誤差による算出したエピポーラ線のズレが生じる原因を詳細に説明した図である。図１１（ａ）は基線長が長い場合、図１１（ｂ）は基線長が短い場合を示している。

【0010】

図１１（ａ）（ｂ）に示すように、エピポーラ線とは、２つの撮像装置の光学中心Ａ、Ｂと計測点を通るエピポーラ平面、と画像面（Ａ像、Ｂ像）との交線である。また、撮像装置Ａの光学中心Ａと撮像装置Ｂの光学中心Ｂを結ぶ線分が基線長であり、結ぶ方向が基線方向である。この光学中心Ａと光学中心Ｂとの相対的な位置関係を定めるものが外部パラメータである。

【0011】

また、計測点がＡ像およびＢ像に投影される際の点をそれぞれ対応点Ａ、対応点Ｂとする。対応点Ａ、対応点Ｂの対応付けを行う際に、２つのカメラの撮影画像上（Ａ像、Ｂ像）に投影される投影点はエピポーラ線上に存在するという拘束条件が成り立つため、対応点Ａまたは対応点Ｂを算出する際は、エピポーラ線上を探索する。

【0012】

図１１（ａ）に示すように、基線長がある程度長いカメラであれば、基線方向以外の外部パラメータの推定誤差が発生し、光学中心Ａと光学中心Ｂとの相対的な位置関係がズレても、エピポーラ平面はほとんど傾かないため、エピポーラ線は大きくずれない。よって算出されたエピポーラ線で、対応点Ａ、対応点Ｂを算出しても、計測点の計測精度に大きく影響しない。

【0013】

しかしながら図１１（ｂ）に示すように、基線長が短いカメラでは、基線方向以外の外部パラメータの推定誤差が少しでも発生すると、光学中心Ａと光学中心Ｂとの相対的な位置関係がズレ、エピポーラ平面が大きく傾く。よってエピポーラ線が本来の物よりも大きくずれる。そのため、基線長が短いカメラに、外部パラメータを、モデルを用いて算出する手法を用いた場合、外部パラメータに少しでも誤差が生じると、エピポーラ線が大きくずれてしまう。よって対応点Ａ、対応点Ｂとの対応付けに失敗し、３次元計測精度が大きく悪化するという課題がある。

【0014】

そこで本発明は上記課題に鑑み、基線長が短い撮像装置に対して、外部パラメータを、モデルを用いて算出する手法を適用した場合でも、高精度に計測を行えることができる撮像装置を提供する。

【課題を解決するための手段】

【0015】

上記課題を解決するため本発明においては、レンズと、処理部と、を備えた撮像装置であって、前記レンズは、第１の光を通過させる第１の領域と、第２の光を通過させる第２の領域と、を備え、前記レンズは所定の条件により前記撮像装置に拘束されており、前記第１の領域と前記第２の領域は、所定の方向に並んで配置されており、前記処理部は、前記第１の領域における所定の位置と、前記第２の領域における所定の位置との相対的な第１の位置関係を、前記所定の方向の成分を自由度で表したモデルを用いて算出する、ことを特徴とする撮像装置を採用した。

【発明の効果】

【0016】

本発明によれば、基線長が短い撮像装置の光学的特性を踏まえて、外部パラメータを算出するためのモデルを１自由度でモデル化している。これにより、基線方向以外の外部パラメータの推定誤差を抑えることができ、計測精度を大幅に向上させることができる。

【図面の簡単な説明】

【0017】

【図1】実施形態における撮像装置１を示す概略図である。

【図2】実施形態における撮像素子１１と撮像用画素１１１を示す概略図である。

【図3】実施形態における撮像装置１の構造図である。

【図4】実施形態における撮像装置１と画像処理装置２を示す概略図である。

【図5】実施形態における撮像装置１と画像処理装置２の変形例を示す概略図である。

【図6】実施形態における３次元計測を行う際の制御フローチャートである。

【図7】実施形態における撮像装置１を用いた際の内部・外部パラメータについて説明した図である。

【図8】図６におけるＳ１０１の詳細なフローを示したフローチャート図である。

【図9】実施形態における校正チャート５の概略図である。

【図10】２台のピンホールカメラＡ、Ｂが配置されたステレオカメラとしての撮像装置をモデル化した図である。

【図11】外部パラメータの推定誤差による算出したエピポーラ線のズレが生じる原因を詳細に説明した図である。

【発明を実施するための形態】

【0018】

以下、添付図面を参照して本発明を実施するための形態につき説明する。なお、以下に示す実施形態はあくまでも一例であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更することができる。また、本実施形態で取り上げる数値は、参考数値であって、本発明を限定するものではない。

【0019】

（第１の実施形態）
図１は本実施形態における撮像装置１を示した概略図である。本実施形態における撮像装置は、撮像面位相差方式を用いで３次元計測を行う撮像装置である。撮像面位相差方式を用いた撮像装置では、撮像素子の各画素が２つの光電変換部（フォトダイオード）を有する。撮像面位相差方式では、撮像装置の光学系の射出瞳における異なる２つの領域（部分瞳）を通過した光束によって形成される一対の画像（図１０、図１１におけるＡ像、Ｂ像）が得られる。よって、Ａ像、Ｂ像から視差を求め、当該視差から図１０、１１を用いて説明した三角測量の原理に基づいて計測点までの距離を測定する。本実施形態においては撮像面位相差方式を用いた撮像装置が好適である。以下で詳述する。

【0020】

図１に示すように、撮像装置１は撮像素子１１とレンズ１２を有し、被写体の光学像を、レンズ１２を通して撮像素子１１に結像する。図２は本実施形態における撮像素子１１を詳細に示した図である。図２（ａ）は撮像素子１１の撮像面における撮像用画素１１１の配列の様子を示しており、図２（ｂ）は撮像用画素１１１単体の構造を示している。

【0021】

図２（ａ）に示すように、撮像素子１１には多数の撮像用画素１１１が配列されている。なお、煩雑さをなくすため、左上側の各画素の配列の態様を部分的に示すに留まり、撮像素子１１の全面における各画素の配列の態様は図示を省略する。また図２（ｂ）より、撮像用画素１１１はマイクロレンズ３１と、２つのフォトダイオードのような光電変換素子３２Ａ、３２Ｂから構成されている。撮像素子１１の全面にこのような撮像用画素１１１が配置されている。

【0022】

図３は、撮像装置１１における光学系の射出瞳における２つの領域を詳細に示した図である。図３に示すように、光電変換素子３２Ａおよび光電変換素子３２Ｂには、それぞれ射出瞳４１の異なる領域である第一の瞳領域４１Ａを通過した光束４２Ａおよび、第２の瞳領域４１Ｂを通過した光束４２Ｂが入射する。したがって、各撮像用画素１１１の光電変換素子３２Ａは画像信号Ａ（以下、Ａ像）を取得し、各撮像用画素１１１の光電変換素子３２Ｂは画像信号Ｂ（以下、Ｂ像）を取得する。

【0023】

以上のように、１つの撮像素子、１つのレンズでも、異なる２方向からみたＡ像、Ｂ像を得られるため、三角測量の原理により、計測点の３次元計測を行うことが可能となる。

【0024】

次に上述した撮像装置１を用いて、３次元測定を行う際に内部・外部パラメータを校正する校正装置を、図４を用いて説明する。図４より、撮像装置１は画像処理装置２と接続されている。画像処理装置２は、撮像装置１の撮影と、撮影画像を処理し処理結果を用いて撮像装置１の内部・外部パラメータの校正および、３次元計測を実施する各機能ブロック（２１１～２１４）から構成される。撮像装置１が校正パラメータ５を撮影し、得られた校正パラメータ５の撮影画像に基づいて、内部・外部パラメータの校正に必要なデータを取得するものとする。

【0025】

画像処理装置２は、ＣＰＵ２１を中心に構成されている。画像処理装置２は、演算を行うＣＰＵ２１と、ＲＯＭ２２およびＲＡＭ２３からなるメモリ部と、外部と通信を行うインターフェース（Ｉ／Ｆ）部２４を有している。これらの各ブロックは画像処理装置２内部の通信に用いられるバス２５を介して相互に接続される。各機能ブロック（２１１～２１４）は、ＣＰＵ２１が制御プログラムを実行することにより実現される。

【0026】

撮像装置１はインターフェース部２４を介して、画像処理装置２に接続されている。撮像装置１は、撮像装置制御部２１１からの指令に基づき撮影し、撮影画像であるＡ像とＢ像を画像処理装置２に送信する。また、撮像装置制御部２１１は、不図示の照明の点灯や輝度の調整も行う機能を有するものとする。

【0027】

送信されたＡ像、Ｂ像は画像処理装置２内の画像処理部２１２によって処理される。画像処理部２１１ではこれらのＡ像、Ｂ像に対して、画像処理を行うことにより、内部・外部パラメータを校正する際に必要なデータを得る。本実施形態では、校正チャート５に記された黒丸マーカの画像座標系における中心位置を計測する手法について説明する。本実施形態では、校正チャート５には白背景に、黒色かつ円形のマーカが多数描かれている装置とする。ただし、校正チャート５は円形マーカに限らず、チェスボードないし市松模様の画像パターンを付与したものでもよい。

【0028】

まず、撮像装置１により構成マーカ５を撮影し、構成チャート５のＡ像、校正チャート５のＢ像を取得し、取得したＡ像、Ｂ像を画像処理部２１２に送信する。そして画像処理部２１２において、撮像装置１から送信されたＡ像に対してエッジ抽出処理を実施する。本実施形態におけるエッジ抽出処理では各エッジの長さと真円度から、校正チャート５の各マーカのエッジを抽出するものとする。抽出エッジに対して楕円近似を行えば、楕円中心の画像座標を求めることができる。この画像座標はＡ像におけるマーカ中心位置となる。Ｂ像に対しても同様の処理を行えば、Ｂ像におけるマーカ中心位置を求めることができる。Ａ像におけるマーカ中心位置が画像座標系Ｓ_Ａ、Ｂ像におけるマーカ中心位置が画像座標系Ｓ_Ｂとなる。

【0029】

画像処理装置２の校正演算部２１３では、撮像装置１の内部・外部パラメータを演算する機能を備えている。演算方法については後述する。校正演算部２１３で得られた内部・外部パラメータは画像処理装置２内のメモリ、例えばＲＯＭ２２ないしＲＡＭ２３に格納しておく。

【0030】

画像処理装置２の３次元計測部２１４では、Ａ像、Ｂ像における各投影点の対応付けの処理を行い、内部、外部パラメータを用いて、３次元計測を実施する機能を備えている。３次元計測部２１４が行う３次元計測方法に関する処理については後述する。

【0031】

本実施形態では図４に示すように画像処理装置２と撮像装置１とは別々の構成となっているが、図５に示すように、画像処理装置２の機能を撮像装置１の内部に設けた、いわゆるスマートカメラのような構成にしてもよい。これにより、別途、画像処理装置２を手配する必要性がないため、設置スペースを削減できる。また、撮像装置１と画像処理装置２の配線作業も図５に示す形態にすれば割愛できるため、装置の立上時間を短縮でき、人的コストの削減も図ることができる。

【0032】

次に本実施形態における撮像装置１で３次元計測を行う制御のフローを、図６を用いて説明する。図６は本実施形態における３次元計測を行う際の制御フローチャートである。全体の大まかな流れとしては、オフライン作業（Ｓ１０１）と、オンライン作業（Ｓ１０２～Ｓ１０５）に分けられる。

【0033】

オフライン作業となっているＳ１０１は、作業者が行う準備作業のステップであり、校正演算部２１３が実施する処理である。撮像装置１の光学特性が変化しない限りは、１度だけ行う処理である。しかし、たとえば作業者が撮像装置１のピントを再調整した場合や、撮像装置１に衝撃が加わり光学特性が変化した場合には、再度Ｓ１０１を実施する必要がある。Ｓ１０１で撮像装置１の構成を行い、内部・外部パラメータを設定してメモリに格納し、準備作業を終了する。

【0034】

オンライン作業により行われるステップＳ１０２からＳ１０５は、撮像装置１を用いて３次元計測を行うたびに必要であり、３次元計測部２１４が実施する処理である。たとえば、ロボット装置を用いてワークの把持を行い、把持したワークを他のワークに組み付け、物品の製造を行うようなシステムの場合においては、ワークが供給され把持動作を行うたびに実施する処理である。具体的には、撮像装置１を用いてワークの位置姿勢を計測し、この計測結果をもとにロボット装置の位置姿勢を補正し、把持したワークを他のワークに組み付けるような処理を行う。

【0035】

次に撮像装置１を校正するＳ１０１について説明する。Ｓ１０１は、撮像装置１の校正を実施し、撮像装置１の内部・外部パラメータを取得する工程である。本実施形態の撮像装置を用いた際の内部・外部パラメータについて、図７を用いて説明する。

【0036】

図７は、本実施形態における撮像装置１を用いた際の各座標系の関係を示した図である。図７（ａ）は本実施形態における射出瞳４１をＹＺ平面で示した図である。図７（ｂ）は射出瞳４１をＸＹ平面で示した図である。図７（ｃ）は撮像用画素１１１をＸＺ平面で示した図である。まず、撮像装置座標系（Ｃ_Ａ、Ｃ_Ｂ）および画像座標系（Ｓ_Ａ、Ｓ_Ｂ）について説明する。先述したように、Ａ像およびＢ像は、それぞれ射出瞳４１の異なる領域である第一の瞳領域４１Ａを通過した光束および、第２の瞳領域４１Ｂを通過した光束が、撮像素子１１上で受光されそれぞれ結像した画像信号である。

【0037】

よって光学中心はそれぞれ、瞳領域４１Ａの重心位置および、瞳領域４１Ｂの重心位置となる。この重心位置がそれぞれ、撮像装置座標系Ｃ_Ａと撮像装置座標系Ｃ_Ｂの原点位置となる。撮像装置座標系Ｃ_Ａの光学中心を光学中心Ａ、撮像装置座標系Ｃ_Ｂの光学中心を光学中心Ｂと呼称する。光学中心Ａおよび、光学中心Ｂから撮像素子１１への垂線方向が撮像装置座標系Ｃ_Ａおよび、撮像装置座標系Ｃ_Ｂのｚ軸となる。各光学中心Ａ、Ｂから撮像素子１１までの距離が焦点距離である。

【0038】

図７（ｂ）より、本実施形態では、撮像装置座標系Ｃ_Ａから撮像装置座標系Ｃ_Ｂへの方向を、撮像装置座標系Ｃ_Ａおよび撮像装置座標系Ｃ_Ｂのｘ軸と定義する。

【0039】

光学中心Ａ、Ｂから撮像素子１１へ下した垂線と、撮像素子１１との交点が、画像座標系Ｓ_Ａ、Ｓ_Ｂの原点位置であり、各原点位置を画像中心Ａ、Ｂと呼ぶ。図７（ｃ）に示すように、本実施形態では、光電変換素子３２Ａと３２Ｂの並び方向（図７（ｃ）のＸ軸方向）を、画像座標系Ｓ_Ａ、Ｓ_Ｂのｘ軸と定義する。レンズ歪補正後においては、画像座標系Ｓ_Ａ、Ｓ_Ｂのｘ軸と、撮像装置座標系Ｃ_Ａ、Ｃ_Ｂのｘ軸は平行となる。

【0040】

次に内部パラメータおよび、外部パラメータについて説明する。内部・外部パラメータの設定方法においては撮像装置をモデル化する手法を用いる。内部パラメータは画像座標系Ｓ_Ａ、Ｓ_Ｂと撮像装置座標系Ｃ_Ａ、Ｃ_Ｂ間の相対的な位置関係を表すパラメータである。具体的には、撮像装置の光学特性を意味し、画像中心、焦点距離、セル（画素）サイズ、および、レンズ歪特性で表せる。

【0041】

レンズ歪補正前に画像座標系Ｓ_Ａ、Ｓ_Ｂで計測された座標を（ｕ’，ｖ’）とすると、レンズ歪特性を用いて、レンズ歪補正後の座標（ｕ，ｖ）に以下の式で変換できる。

【0042】

【数1】

【0043】

Ｋ_１、Ｋ_２、Ｋ_３が半径方向の歪係数、Ｐ_１、Ｐ_２が円周方向の歪係数であり、これらがレンズ歪特性のパラメータである。ここで、半径ｒは次式で表せる。

【0044】

【数2】

【0045】

レンズ歪特性以外の内部パラメータから、以下の内部パラメータ行列Ａ_Ａおよび内部パラメータ行列Ａ_Ｂが定まる。

【0046】

【数3】

【0047】

【数4】

【0048】

ここで、ｆ_Ａ，ｆ_Ｂは瞳領域４１Ａ，４１Ｂの焦点距離、ｋ_Ａ，ｋ_Ｂは撮像素子１１のセル（画素）サイズ、（ｕ_Ａ０，ｖ_Ａ０）は画像座標系Ｓ_Ａの画像中心、（ｕ_Ｂ０，ｖ_Ｂ０）が画像座標系Ｓ_Ｂの画像中心である。

【0049】

一方、外部パラメータは撮像装置座標系Ｃ_Ａと撮像装置座標系Ｃ_Ｂとの相対関係であり、撮像装置が２台ある場合は、６自由度でモデル化され、外部パラメータ行列Ｅは次式で表現できる。

【0050】

【数5】

【0051】

Ｒは回転行列であり３自由で表せ、（ｔ_１、ｔ_２、ｔ_３）は平行移動成分である。

【0052】

次に、内部パラメータ行列と外部パラメータ行列を用いて、画像座標系Ｓ_Ａ上の計測点座標ｍ_Ａ＝（ｕ_Ａ，ｖ_Ａ）と、画像座標系Ｓ_Ｂ上の計測点座標ｍ_Ｂ＝（ｕ_Ｂ，ｖ_Ｂ）の間に成り立つ関係式について説明する。外部パラメータの一部である（ｔ_１、ｔ_２、ｔ_３）を用いて次式のような行列を定義する。

【0053】

【数6】

【0054】

このとき、幾何学的に画像座標系Ｓ_Ａの計測点座標ｍ_Ａと、画像座標系Ｓ_Ｂの計測点座標ｍ_Ｂには、以下の関係式が成り立つことが一般的に知られている。

【0055】

【数7】

【0056】

このとき、以下のように行列Ｆを定義する。

【0057】

【数8】

【0058】

行列Ｆを用いると、数７は以下のようにあらわすことができる。

【0059】

【数9】

【0060】

ここで、行列Ｆを基礎行列と呼び、数９を基礎方程式と呼ぶ。基礎行列Ｆは９個の成分を持つが、定数倍の自由度があるので、未知数は８個であるとみなせる。よって、理論的には８組以上の対応点データ（ｍ_Ａ，ｍ_Ｂ）がわかれば、基礎行列Ｆを決定できる。また、理論的には５点のワールド座標系で既知の点があれば、基礎行列Ｆから内部・外部パラメータを導出できることが一般的に知られている。

【0061】

しかしながら、現実には、校正時に特徴点位置を画像計測する際に誤差が生じたり、内部パラメータの一部であるレンズ歪特性が現実のレンズ歪特性とは一致しなかったりする。よって、上記の理論上の対応点データ数だけでは、内部・外部パラメータの推定誤差が大きく発生してしまう。そのため、より多くの対応点データを用いて、最適化計算により内部・外部パラメータを推定するのが一般的な校正手法である。

【0062】

本実施形態では、レンズが１つであり、所定の条件で拘束され、２つの光学中心が相対的に変位し辛いという撮像装置の光学特性を踏まえて、外部パラメータ行列Ｅ’を次式のようにする。そしれ光電変換素子３２Ａと３２Ｂの並び方向であるＸ軸の並進成分ｔ_１のみでモデル化する。

【0063】

【数10】

【0064】

上記のように、Ｘ軸の並進成分ｔ_１のみでモデル化できる理由について詳しく説明する。撮像面位相差方式を用いた撮像装置では、Ａ像とＢ像は同一レンズ１２および撮像素子１１で結像した画像信号である。よって、図７（ｂ）に示すように、第１の瞳領域４１Ａと第２の瞳領域４１Ｂの重心位置のワールド座標系ＷにおけるＹ座標はほぼ等しくなる。つまり、瞳領域４１Ａの光学中心Ａと瞳領域４１Ｂ光学中心のＹ座標がほぼ等しい値となる。

【0065】

また、第１の瞳領域４１Ａと第２の瞳領域４１Ｂの焦点距離もほぼ等しいので、光学中心Ａと光学中心Ｂのワールド座標系ＷにおけるＺ座標もほぼ等しい値となる。つまり、光学中心Ａ（撮像装置座標系Ｃ_Ａの原点）と光学中心Ｂ（撮像装置座標系Ｃ_Ｂの原点）の、ワールド座標系ＷのＹ座標、Ｚ座標はほぼ等しい値となる。以上のように、外部パラメータをＸ方向の並進成分ｔ_１のみでモデル化することができるようになる。

【0066】

数１０の外部パラメータ行列を用いると、数６は以下のように変換できる。

【0067】

【数11】

【0068】

上記の行列を用いると、数７は次式のように変換できる。

【0069】

【数12】

【0070】

よって、基礎行列Ｆと基礎方程式は以下のようにあらわせる。

【0071】

【数13】

【0072】

【数14】

【0073】

本実施形態では、数１４に示した基礎方程式に対応点データを代入し、内部・外部パラメータを推定する。以上により、内部・外部パラメータを算出する。なお上記で述べた処理は、画像処理部２１２および校正演算部２１３により行われるものとする。

【0074】

次に図８を用いてＳ１０１の詳細なフローを説明する。図８は本実施形態におけるＳ１０１の詳細なフローを示したフローチャート図である。なお、以下で詳述するフローの各ステップは画像処理装置２の各機能ブロック（２１１～２１４）により実行されるものとする。

【0075】

まずＳ２０１で、撮像装置１を用いて校正チャート５を撮影する。撮像装置制御部２１１が撮像装置１に対してトリガ信号を送信し、撮像装置１１は画像信号を画像処理装置２に送信する。画像信号であるＡ像とＢ像はＲＡＭ２３上にメモリ展開される。

【0076】

次にＳ２０２で、Ａ像とＢ像の画像座標系Ｓ_Ａ、Ｓ_Ｂにおける、校正チャート５上に配置されているマーカの位置計測を行う。画像処理部２１２はＲＡＭ２３上に展開されているＡ像とＢ像に対して、先述のマーカ位置計測処理を実行する。これにより、画像座標系Ｓ_Ａ上のマーカ座標ｍ_Ａｉ＝（ｕ_Ａｉ、ｖ_Ａｉ）と、画像座標系Ｓ_Ｂ上のマーカ座標ｍ_Ｂｉ＝（ｕ_Ｂｉ、ｖ_Ｂｉ）が求まる。ここでｉはマーカのナンバーとする。画像処理部２１２はここで求めたマーカ座標ｍ_Ａｉ、ｍ_Ｂｉを対応点データとしてＲＡＭ２３上にメモリ展開する。

【0077】

次にＳ２０３で、校正チャート５の位置姿勢を変化させるため、校正チャート５を移動させる。本作業は対応点データであるマーカ座標ｍ_Ａｉ、ｍ_Ｂｉを多数得るためである。本作業は、作業者が手動で行ってもよいし、不図示の自動ステージやロボット装置等により自動で校正チャート５を移動させてもよい。

【0078】

次にＳ２０４で、事前に設定された枚数以上、校正チャート５を撮影した撮影画像があるか判定する。必要枚数以上撮影されていれば、Ｓ２０４：Ｙｅｓより次工程であるＳ２０５に移動する。必要枚数撮影されていなかったら、再度校正チャート５を撮影するため、工程Ｓ２０１の直前まで戻る。

【0079】

必要枚数は作業者が事前に設定し、必要枚数の値をＲＯＭ２２上に保存しておく。撮影枚数が多いほど、校正精度は向上するが、作業時間がかかるため、必要な校正精度と許容される作業時間から必要枚数を決定する。校正チャート５上のマーカ点数が多ければ、一度で多数の対応点データを得られるので、必要枚数は削減できる。一般的に撮影画像の枚数は、１０から５０枚程度である。

【0080】

次にＳ２０５で、対応点データと撮像装置モデルを用いて、内部・外部パラメータ推定処理を行う。Ｓ２０２でＲＡＭ２３上に保存されているマーカ座標ｍ_Ａｉ、ｍ_Ｂｉを読みだす。これらの対応点データを数１４に代入する。そして、数１４の最適化計算を解けば、基礎行列Ｆ’を求めることができる。

【0081】

【数15】

【0082】

図９に示すように、校正チャート５上のワールド座標系Ｗを、左上のマーカを原点とし、校正チャートの法線方向をＺ軸、左上のマーカから右上のマーカ方向をＸ軸、Ｘ、Ｚ軸の外積をＹ軸と定義する。校正チャート５製作時にマーカを高精度に描画することにより、ワールド座標系Ｗにおける各マーカ位置は高精度に定まる。

【0083】

先述したように、理論的にはワールド座標系Ｗで５点の既知の点があれば、基礎行列Ｆから内部・外部パラメータを導出できる。よって、上記のようにワールド座標系Ｗを定義すれば、高精度に基礎行列Ｆ’から内部・外部パラメータを推定することができる。そしてＳ２０６で校正演算部２１３は推定した内部・外部パラメータをＲＯＭ２２上に保存する。以上でＳ１０１の工程を終了する。

【0084】

次に図６のＳ１０２からＳ１０５で実行される３次元計測処理について説明する。図６より、まずＳ１０２にて、撮像装置１を用いて、３次元計測を行いたい計測対象を撮影する。撮像装置制御部２１１が撮像装置１に対してトリガ信号を送信し、撮像装置１は画像信号を画像処理装置２に送信する。画像信号であるＡ像とＢ像はＲＡＭ２３上にメモリ展開される。

【0085】

次にＳ１０３で、ステレオ平行化処理を行う。ステレオ平行化とはＡ像とＢ像の対応点が同じ行座標を持つように、撮影画像を投影処理する手法である。Ｓ１０３の処理を行うことにより、ステレオ対応点探索問題を２次元から１次元の問題に落とし込めるため、処理を簡単にできるメリットがある。

【0086】

Ｓ１０３におけるステレオ平行化処理の概要を説明する。まず内部パラメータの一部であるレンズ歪特性と数１を用いて、Ａ像およびＢ像に対してレンズ歪補正を行い、レンズ歪補正画像を生成する。次に、光学中心Ａ、Ｂの高さがそろい、光軸方向が平行となるような投影行列を、内部・外部パラメータを用いて算出する。レンズ歪補正画像に対し投影行列を反映させることにより、ステレオ平行化画像を得ることができる。

【0087】

次にＳ１０４で、ステレオ平行化処理後のＡ像とＢ像に対し、対応点付けによる視差を演算する。対応点付け手法としては、領域ベースマッチングや特徴ベースマッチングがあり、用途によって最適な手法を選択する。領域ベースマッチングの手法としては、ＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ）やＳＳＤ（ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅｓ）がある。さらにＮＣＣ（ｎｏｒｍａｌｉｚｅｄ ｃｒｏｓｓ ｃｏｒｒｅｌａｔｉｏｎ）などがある。Ｓ１０４で求まった視差をｄ、画像座標系Ａ上の計測座標ｍ_Ａ＝（ｕ_Ａ，ｖ）と、画像座標系Ｓ_Ｂ上の計測座標ｍ_Ｂ＝（ｕ_Ｂ，ｖ）とする。ステレオ平行化処理後のため、行座標ｙは等しい値となる。

【0088】

最後にＳ１０５で、校正結果と視差量を用いて３次元計測を行う。この際、撮像装置座標系Ｓ_Ａからみた計測点の座標（ｘ，ｙ，ｚ）は三角測量の原理により、以下のようにあらわせる。

【0089】

【数16】

【0090】

ここで、ｆはステレオ平行化処理後の焦点距離、ｂはステレオ平行化処理後の外部パラメータから定まる基線長である。

【0091】

本実施形態では光電変換素子３２Ａと３２Ｂの並び方向をＸ軸と定義し、外部パラメータを式１０でモデル化したが、並び方向をＹ軸と定義し、下記の数１６でモデル化してもよい。

【0092】

【数17】

【0093】

以上本実施形態によれば、基線長が短い撮像装置の光学的特性を踏まえて、外部パラメータを算出するためのモデルを１自由度でモデル化している。特に本実施形態における撮像面位相差方式を用いた撮像装置は、１つのレンズの瞳領域を分割し、１つの撮像素子で得られたＡ像、Ｂ像を得ているため、基線長はレンズ径以下であり、撮像装置に対して基線長が極端に短くなる傾向にある。しかしながら、１つのレンズであるため、１つの撮像装置に所定の条件で拘束すれば２つの光学中心は相対変位し辛いという点に着目し、外部パラメータを算出するためのモデルを１自由度でモデル化している。これにより、基線長が短い撮像装置では、外部パラメータの誤差が生じやすくなる、撮像装置をモデル化して外部パラメータを算出する手法を、問題なく適用することができ、計測精度を大幅に向上させることができる。

【0094】

また１自由度のみのモデルであるため、外部パラメータを算出する際の演算負荷も減らすことができる。

【0095】

さらに本実施形態では、レンズの射出瞳４１Ａ，４１Ｂとの相対的な位置関係を自由度で表したモデルを使用している。これにより、レンズの付け替えなどにおいて、撮像素子に対する射出瞳４１Ａ，４１Ｂの位置が変わってしまう場合に対応することができる。

【0096】

（第２の実施形態）
上述した第１の実施形態では、内部パラメータＡと内部パラメータＢを異なる変数を用いてモデル化した。しかし、第１の実施形態で用いた撮像装置１では、同一のレンズ１２と撮像素子１１を用いているため、Ａ像とＢ像はほぼ等しい光学特性を通して結像された画像である。よって本実施形態では、画像中心以外の内部パラメータＡと内部パラメータＢを同じ変数でモデル化する。

【0097】

以下では、第１の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、第１の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。

【0098】

レンズ歪特性以外の内部パラメータから定まる、内部パラメータ行列Ａ_Ａおよび内部パラメータ行列Ａ_Ｂを以下のように定義できる。

【0099】

【数18】

【0100】

【数19】

【0101】

ここで、ｆは射出瞳４１Ａ，４１Ｂの焦点距離、ｋは撮像素子１１のセル（画素）サイズ、（ｕ_Ａ０，ｖ_Ａ０）は画像座標系Ｓ_Ａの画像中心、（ｕ_Ｂ０，ｖ_Ｂ０）が画像座標系Ｓ_Ｂの画像中心である。

【0102】

以上により撮像装置のモデルを定義する変数を削減できるため、数１４に示した最適化関数の演算時間を短縮できる。また、内部パラメータＡと内部パラメータＢが等しいという拘束条件を用いているため、これらの内部パラメータが大きく異なるような推定誤差を防ぐことが可能となる。

【0103】

本実施形態では、すべての内部パラメータを同じ変数でモデル化したが、一部のパラメータのみを同じ変数でモデル化してもよい。

【0104】

上述した第１の実施形態、第２の実施形態の処理手順は具体的には画像処理装置２のＣＰＵ２１により実行されるものとして説明した。しかし、上述した機能を実行可能なソフトウェアの制御プログラムおよびそのプログラムを記録した記録媒体を他の電子機器に搭載させて実施しても良い。

【0105】

従って上述した機能を実行可能なソフトウェアの制御プログラムおよびそのプログラムを記録した記録媒体、電子機器、アプリケーションは本発明を構成することになる。

【0106】

また、上記実施形態では、コンピュータで読み取り可能な記録媒体がＲＯＭ或いはＲＡＭであり、ＲＯＭ或いはＲＡＭに制御プログラムが格納される場合について説明したが、本発明はこのような形態に限定されるものではない。

【0107】

本発明を実施するための制御プログラムは、コンピュータ読み取り可能な記録媒体であれば、いかなる記録媒体に記録されていてもよい。例えば、制御プログラムを供給するための記録媒体としては、ＨＤＤ、外部記憶装置、記録ディスク等を用いてもよい。

【0108】

（その他の実施形態）
また上述した第１の実施形態、第２の実施形態における、ロボット装置は多関節ロボットアームや、パラレルリンク型など異なる形式の関節を有する種々のロボットアームを適用してかまわない。また、各関節を駆動する駆動源は例えば人工筋肉のようなデバイス等であってもよい。

【0109】

また上述した第１の実施形態、第２の実施形態は、制御装置に設けられる記憶装置の情報に基づき、伸縮、屈伸、上下移動、左右移動もしくは旋回の動作またはこれらの複合動作を自動的に行うことができる機械に適用可能である。

【符号の説明】

【0110】

１ 撮像装置
２ 画像処理装置
５ 校正チャート
１１ 撮像素子
１２ レンズ
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ Ｉ／Ｆ
２５ バス
３１ マイクロレンズ
３２Ａ、３２Ｂ 光電変換素子
４１ 射出瞳
４１Ａ、４１Ｂ 瞳領域
４２Ａ、４２Ｂ 光束
１１１ 撮像用画素
２１１ カメラ制御部
２１２ 画像処理部
２１３ 校正演算部
２１４ ３次元計測部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】