特開 2024-49283 ステレオカメラの校正装置及び校正方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024049283

(43)【公開日】2024-04-09

(54)【発明の名称】ステレオカメラの校正装置及び校正方法

(51)【国際特許分類】

   G06T 7/80 20170101AFI20240402BHJP

   G01C 3/00 20060101ALI20240402BHJP

【ＦＩ】

G06T7/80

G01C3/00 120

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023024293

(22)【出願日】2023-02-20

(31)【優先権主張番号】P 2022154895

(32)【優先日】2022-09-28

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110002907

【氏名又は名称】弁理士法人イトーシン国際特許事務所

(72)【発明者】

【氏名】小甲 啓隆

【テーマコード（参考）】

2F112

5L096

【Ｆターム（参考）】

2F112AC03

2F112AC06

2F112CA12

2F112DA01

2F112FA03

2F112FA23

2F112FA39

2F112FA45

5L096AA06

5L096CA05

5L096CA18

5L096DA02

5L096FA67

5L096FA69

(57)【要約】

【課題】ステレオカメラの光軸を一対のコリメータから出射されるコリメータ光に基づいて校正するに際し、両コリメータの光軸の平行度がずれた場合でも調整を不要とする。
【解決手段】ステレオカメラ校正装置は、カメラ５ａ，５ｂを有するステレオカメラユニット５と、コリメータ２ａ，２ｂを有するコリメータユニット２と、リファレンスカメラ２ａ，２ｂを有するリファレンスカメラユニット２と、制御部４とを備え、制御部４は、コリメータ２ａ，２ｂから出射されるコリメート光を受光したリファレンスカメラ３ａ，３ｂの撮像面の座標を求め、両座標の差分からコリメータ２ａ，２ｂの光軸の変位量を算出し、コリメータ２ａ，２ｂから出射されるコリメート光を受光したカメラ５ａ，５ｂの撮像面の座標を求め、両座標の差分からカメラ５ａ，５ｂの光軸の変位量を算出し、両変位量の差分からカメラ５ａ，５ｂの校正値を算出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定の基線長で配置された第１カメラ及び第２カメラを有するステレオカメラユニットと、
前記基線長と同一の距離を隔ててアームに固定されている第１コリメータ及び第２コリメータを有するコリメータユニットと、
前記第１コリメータと前記第２コリメータとから出射されるコリメート光を受光した前記ステレオカメラユニットの前記第１カメラと前記第２カメラとの撮像面の座標を求め、該両座標の差分から前記第１カメラと前記第２カメラとの光軸の変位量を算出するカメラ変位量算出部を有する制御部と
を備えるステレオカメラの校正装置において、
前記基線長と同一の基線長で固定されている第１リファレンスカメラ及び第２リファレンスカメラを有するリファレンスカメラユニットを更に備え、
前記制御部は、
前記第１コリメータと前記第２コリメータとから出射されるコリメート光を受光した前記リファレンスカメラユニットの第１リファレンスカメラ及び第２リファレンスカメラとの撮像面の座標を求め、該両座標の差分から前記第１コリメータと前記第２コリメータとの光軸の変位量を算出するコリメータ変位量算出部と、
前記コリメータ変位量算出部で算出した前記変位量と前記カメラ変位量算出部で算出した前記変位量との差分から前記ステレオカメラユニットの前記第１カメラと前記第２カメラとの校正値を算出する校正値算出部と
を更に備えることを特徴とするステレオカメラの校正装置。

【請求項2】

前記コリメータユニットは前記アームを変位させる駆動部を有し、
前記制御部は、前記駆動部を駆動させて前記コリメータユニットの第１コリメートと第２コリメートとから出射されるコリメート光の一方が、該コリメート光を受光する前記リファレンスカメラユニットの前記第１リファレンスカメラと前記第２リファレンスカメラとの一方の撮像面の予め設定した所定範囲の座標で受光するように調整する
ことを特徴とする請求項１記載のステレオカメラの校正装置。

【請求項3】

前記制御部は、前記駆動部を駆動させて前記コリメータユニットの第１コリメートと第２コリメートとから出射されるコリメート光の一方が、該コリメート光を受光する前記ステレオカメラユニットの前記第１カメラと前記第２カメラとの一方の撮像面に対し、前記リファレンスカメラユニットの前記第１リファレンスカメラと前記第２リファレンスカメラとの一方の撮像面に受光した座標に一致する座標で受光するように調整する
ことを特徴とする請求項２記載のステレオカメラの校正装置。

【請求項4】

前記制御部は、
前記校正値算出部で算出した前記校正値を０にする画像オフセット量を算出する画像オフセット量算出部を更に有する
ことを特徴とする請求項１～３の何れか１項に記載のステレオカメラの校正装置。

【請求項5】

所定の基線長で配置された第１カメラ及び第２カメラを有するステレオカメラユニットと、
前記基線長と同一の距離を隔ててアームに固定されている第１コリメータ及び第２コリメータを有するコリメータユニットと、
前記第１コリメータと前記第２コリメータとから出射されるコリメート光を受光した前記ステレオカメラユニットの前記第１カメラと前記第２カメラとの撮像面の座標を求め、前記両座標の差分から前記第１カメラと前記第２カメラとの光軸の変位量を算出する制御部と
を備えるステレオカメラの校正方法において、
前記基線長と同一の基線長で固定されている第１リファレンスカメラ及び第２リファレンスカメラを有するリファレンスカメラユニットを更に備え、
前記制御部は、
前記第１コリメータと前記第２コリメータとから出射されるコリメート光を受光した前記リファレンスカメラユニットの第１リファレンスカメラ及び第２リファレンスカメラとの撮像面の座標を求め、該両座標の差分から前記第１コリメータと前記第２コリメータとの光軸の変位量を算出し、
前記両変位量の差分から前記ステレオカメラユニットの前記第１カメラと前記第２カメラとの校正値を算出する
ことを特徴とするステレオカメラの校正方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ステレオカメラユニットを構成する第１カメラと第２カメラ間の光軸の変位量を算出するステレオカメラの校正装置及び校正方法に関する。

【背景技術】

【0002】

従来、空間を３次元的に認識する技術として、いわゆるステレオ法による画像処理が知られている。このステレオ法による画像処理は、所定の基線長を有して配置された２台のカメラを備えるステレオカメラユニットで同一対象物を撮像した際の視差から三角測量の原理を利用して距離を求めるものである。

【0003】

ステレオ法による画像処理では、ステレオカメラユニットからの２つの画像信号を順次シフトしながら重ね合わせて２つの画像信号が一致した位置を求めるようにしている。そのため、本来、２つの画像間には、視差から生じる対応位置のズレのみが存在することが望ましい。そのため、ステレオカメラユニットにて対象物の三次元的位置を精度良く算出するには、少なくとも２台のカメラ間の位置関係を示すパラメータ（以下、「外部パラメータ」と称する）の校正（キャリブレーション）を行う必要がある。

【0004】

左右カメラ間の外部パラメータを校正（「較正」と称する場合もある）するに際しては、図８に示すように、先ず、左右カメラＣ１，Ｃ２に対し、奥行き（ｚ）方向の基準となる距離Ｌだけ離れた位置の正面にキャリブレーションボードＣｂを提示する。そして、２台の左右カメラＣ１，Ｃ２にてキャリブレーションボードＣｂを撮影し、その画像に基づいて左右カメラＣ１，Ｃ２間の外部パラメータ、特に、視差（ｘ）方向に関わるパラメータを校正する。

【0005】

左右カメラＣ１，Ｃ２の外部パラメータの校正を精度良く行うには、奥行き（ｚ）方向の距離Ｌを数～数十[m]確保する必要がある。しかし、カメラの校正（キャリブレーション）工程において、そのような充分なスペースを確保することは困難である。

【0006】

その対策として、例えば特許文献１（特開２０１９－９０７５５号公報）には、ステレオカメラの奥行き方向に、キャリブレーションボードを無限遠に配置したと同様の光学条件を提供するコリメータを、ステレオカメラに設けた２台のカメラに対応して一対配設した技術が開示されている。この文献に開示されている技術では、各コリメータから出射されるコリメート光（平行光）を、ステレオカメラの各カメラで撮像することで、無限遠に相当する視差を測定し、その測定データに基づき、省スペースで効率的なステレオカメラの校正を行うようにしている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１９－９０７５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ところで、上述した特許文献１に開示されている技術は、各コリメータから出射されるコリメート光は常に平行であるということが前提となっている。支持体に支持されている一対のコリメータの平行度は、経時的にずれが生じやすいため、定期的に検査し、調整する必要がある。

【0009】

ステレオカメラの校正装置をカメラの校正工程で稼働させようとする場合、支持体に支持されている一対のコリメータの平行度を定期的に検査し、調整するには、連続的にカメラの検査を行つているラインを所定周期毎に一時停止し、一対のコリメータ光軸を調整する作業が必要になる。その結果、生産効率の低下を招くことになる。

【0010】

本発明は、ステレオカメラユニットの光軸を一対のコリメータから出射されるコリメータ光に基づいて校正するに際し、一対のコリメータの光軸の平行度が経時的にずれた場合であっても、カメラの検査ラインを一時停止して一対のコリメータの光軸を調整する必要がなく、高い生産効率を得ることのできるステレオカメラの校正装置及び校正方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明は、所定の基線長で配置された第１カメラ及び第２カメラを有するステレオカメラユニットと、前記基線長と同一の距離を隔ててアームに固定されている第１コリメータ及び第２コリメータを有するコリメータユニットと、前記第１コリメータと前記第２コリメータとから出射されるコリメート光を受光した前記ステレオカメラユニットの前記第１カメラと前記第２カメラとの撮像面の座標を求め、該両座標の差分から前記第１カメラと前記第２カメラとの光軸の変位量を算出するカメラ変位量算出部を有する制御部とを備えるステレオカメラの校正装置において、前記基線長と同一の基線長で固定されている第１リファレンスカメラ及び第２リファレンスカメラを有するリファレンスカメラユニットを更に備え、前記制御部は、前記第１コリメータと前記第２コリメータとから出射されるコリメート光を受光した前記リファレンスカメラユニットの第１リファレンスカメラ及び第２リファレンスカメラとの撮像面の座標を求め、該両座標の差分から前記第１コリメータと前記第２コリメータとの光軸の変位量を算出するコリメータ変位量算出部と、前記コリメータ変位量算出部で算出した前記変位量と前記カメラ変位量算出部で算出した前記変位量との差分から前記ステレオカメラユニットの前記第１カメラと前記第２カメラとの校正値を算出する校正値算出部とを更に備える。

【0012】

本発明は、所定の基線長で配置された第１カメラ及び第２カメラを有するステレオカメラユニットと、前記基線長と同一の距離を隔ててアームに固定されている第１コリメータ及び第２コリメータを有するコリメータユニットと、前記第１コリメータと前記第２コリメータとから出射されるコリメート光を受光した前記ステレオカメラユニットの前記第１カメラと前記第２カメラとの撮像面の座標を求め、前記両座標の差分から前記第１カメラと前記第２カメラとの光軸の変位量を算出する制御部とを備えるステレオカメラの校正方法において、前記基線長と同一の基線長で固定されている第１リファレンスカメラ及び第２リファレンスカメラを有するリファレンスカメラユニットを更に備え、前記制御部は、前記第１コリメータと前記第２コリメータとから出射されるコリメート光を受光した前記リファレンスカメラユニットの第１リファレンスカメラ及び第２リファレンスカメラとの撮像面の座標を求め、該両座標の差分から前記第１コリメータと前記第２コリメータとの光軸の変位量を算出し、前記両変位量の差分から前記ステレオカメラユニットの前記第１カメラと前記第２カメラとの校正値を算出する。

【発明の効果】

【0013】

本発明によれば、コリメータユニットの第１、第２コリメータから出射されるコリメート光を受光したリファレンスカメラユニットの第１、第２リファレンスカメラの撮像面の座標を求め、この両座標の差分から第１、第２コリメータの光軸の変位量を算出し、第１、第２コリメータから出射されるコリメート光を受光したステレオカメラユニットの第１、第２カメラの撮像面の座標を求め、両座標の差分から第１、第２カメラの光軸の変位量を算出し、両変位量の差分からステレオカメラユニットの第１、第２カメラの校正値を算出するようにしたので、第１、第２コリメータの光軸の平行度が経時的にずれた場合であっても、カメラの検査ラインを一時停止して一対のコリメータの光軸を調整する必要がなく、高い生産効率を得ることができる。

【図面の簡単な説明】

【0014】

【図1】ステレオカメラユニット校正装置の概略構成図

【図2A】コリメータユニットの概略平面図

【図2B】コリメータユニットからのコリメート光をリファレンスカメラで受光した状態を示す概略平面図

【図3】検査ラインでのステレオカメラユニットの校正を示す概略図

【図4A】平行な一対のコリメート光をステレオカメラの撮像素子に受光させた状態を示す説明図

【図4B】平行な一対のコリメート光を傾斜したステレオカメラの撮像素子に受光させた状態を示す説明図

【図5】校正対象ステレオカメラの校正を示す説明図

【図6】コリメータ変位量算出ルーチンを示すフローチャート

【図7】ステレオカメラ校正処理ルーチンを示すフローチャート

【図8】従来のステレオカメラユニットの外部パラメータの校正を示す概略図

【発明を実施するための形態】

【0015】

以下、図面に基づいて本発明の一実施形態を説明する。図１に示すように、ステレオカメラユニット校正装置１は、コリメータユニット２とリファレンスカメラユニット３と制御部４とを備えている。又、符号５は校正対象ステレオカメラユニットである。尚、本実施形態においては、校正対象ステレオカメラユニット５に設けられている２台の第１、第２カメラ５ａ，５ｂの外部パラメータの基準位置に対するズレを計測することを「校正（較正）」と称する。そして、第１、第２カメラ５ａ，５ｂで撮像した画像データを校正の結果に基づいて、画像処理により修正することを「補正」と称する。

【0016】

図２Ａに示すように、コリメータユニット２は、第１コリメータ２ａ、第２コリメータ２ｂ、駆動部２ｃを有し、駆動部２ｃから図の左右に突出したアーム２ｄの端部に第１、第２コリメータ２ａ，２ｂがマウントベース（図示せず）を介して固設されている。各コリメータ２ａ，２ｂは、光源とコリメータレンズとを有し、光源から出射された光線を、コリメータレンズを透過させることで平行光に生成して出射するものである。尚、両コリメータ２ａ，２ｂは、校正対象ステレオカメラユニット５の第１カメラ５ａ、第２カメラ５ｂ（図４参照）の基線長と同じ距離を隔てて固設されており、光軸は平行な状態に初期調整されている。

【0017】

駆動部２ｃは、制御部４からの駆動信号に従い、アーム２ｄを、図２Ａに示す平面視で回転動作、及び左右へ平行移動させる。アーム２ｄの回転動作は、例えば内蔵するモータ駆動により行う。又、アーム２ｄの平行移動は、例えばラック・アンド・ピニオン機構を採用し、アーム２ｄに形成したラックに噛合するピニオンをモータにて駆動させることで行う。

【0018】

リファレンスカメラユニット３は、第１リファレンスカメラ３ａと第２リファレンスカメラ３ｂ（図２Ｂ参照）、及び画像処理部３ｃを備えている。各リファレンスカメラ３ａ，３ｂは、ＣＣＤ，ＣＭＯＳ等の撮像素子と対物レンズとを備え、対物レンズの焦点距離の位置に撮像素子が配置されている。又、この両リファレンスカメラ３ａ，３ｂは、校正対象ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂと同じ基線長を有してアーム（図示せず）に固定されている。尚、図２Ｂの符号Ｆ１は第１カメラ５ａに設けられている撮像素子の受光面、Ｆ２は第２カメラ５ｂに設けられている撮像素子の受光面である。画像処理部３ｃは、第１、第２カメラ５ａ，５ｂの撮像素子で受光したアナログ信号をデジタル信号に変換する。

【0019】

制御部４は、ＣＰＵ、ＲＡＭ、ＲＯＭ、書き換え可能な不揮発性メモリ（フラッシュメモリ又はＥＥＰＲＯＭ）、及び周辺機器を備えるマイクロコントローラで構成されている。ＲＯＭにはＣＰＵにおいて各処理を実行させるために必要なプログラムや固定データ等が記憶されている。又、ＲＡＭはＣＰＵのワークエリアとして提供され、ＣＰＵでの各種データが一時記憶される。尚、ＣＰＵはＭＰＵ（Microprocessor）、プロセッサとも呼ばれている。又、ＣＰＵに代えてＧＰＵ（Graphics Processing Unit）やＧＳＰ(Graph Streaming Processor)を用いても良い。或いはＣＰＵとＧＰＵとＧＳＰとを選択的に組み合わせて用いても良い。

【0020】

この制御部４の入力側にリファレンスカメラユニット３の画像処理部３ｃがバスラインを通じて接続されている。又、制御部の４の出力側にコリメータユニット２の駆動部２ｃ、及び校正対象ステレオカメラユニット５の、後述する画像処理／補正部５ｃが接続されている。尚、制御部４と校正対象ステレオカメラユニット５の画像処理／補正部５ｃとは無線によりデータ通信可能であっても良い。

【0021】

図３に示すように、リファレンスカメラユニット３の第１、第２リファレンスカメラ３ａ，３ｂとは、検査ラインに設定されている校正工程部Ｐｃの天井１１に吊下されている。第１、第２リファレンスカメラ３ａ，３ｂは、検査ラインに設けたコンベア１２の移動方向に指向し、コンベア１２に対して、直交し、且つ水平な状態で支持されている。

【0022】

図３に示すように、コリメータユニット２は、天井１１から昇降装置１４に支持された状態で吊下されている。同図に一点鎖線で示すように、コリメータユニット２が昇降装置１４に支持され、上昇端の待機位置で停止している状態では、第１、第２コリメータ２ａ，２ｂが、リファレンスカメラユニット３の第１、第２リファレンスカメラ３ａ，３ｂに対し、コンベア１２の移動方向（下流）側にて所定間隔を開けて正対されている。

【0023】

コンベア１２には、生産過程にあるステレオカメラユニット５が順次搬送されている。この校正対象ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂは、固定治具や別の製品（以下、「カメラ支持機１３」と総称する）に固設されている。第１、第２カメラ５ａ，５ｂの撮像素子で受光したアナログ信号は、画像処理／補正部５ｃでデジタル信号に変換される。尚、この画像処理／補正部５ｃは、後述するように、校正に応じて画像の補正を行う機能を備えている。

【0024】

図３に一点鎖線で示すように、昇降装置１４により上昇端へ移動したコリメータ２は待機状態にある。この待機状態においてコリメータユニット２の第１、第２コリメータ２ａ，２ｂは、第１、第２リファレンスカメラ３ａ，３ｂに対し、コンベア１２の移動方向側から所定間隔を開けて正対される。そして、ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂが校正工程部Ｐｃに接近するに従い昇降装置１４が動作してコリメータユニット２を下降させ、ステレオカメラユニット５が校正工程部Ｐｃに到達したとき、下降端で停止する。この状態で、第１、第２コリメータ２ａ，２ｂの正面に第１、第２カメラ５ａ，５ｂが提示される。

【0025】

製造検査ラインのコンベア１２にパレット１５が所定間隔を開けて配置されている。このパレット１５にカメラ支持機１３が載置されている。制御部４は、カメラ支持機１３に固定された状態で移動するステレオカメラユニット５の第１、第２カメラ５ａ，５ｂが校正工程部Ｐｃに近接するタイミングに同期して、コリメータユニット２を支持する昇降装置１４の昇降動作を制御する。

【0026】

即ち、制御部４は、ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂが校正工程部Ｐｃに達した際には、昇降装置１４を作動させてコリメータユニット２を下降端の校正位置へ移動させる。そして、第１、第２コリメータ２ａ，２ｂを、校正対象ステレオカメラユニット５に設けられている第１、第２カメラ５ａ，５ｂの前方に提示させる。次いで、制御部４は、昇降装置１４を作動させてコリメータユニット２を上昇端の待機位置まで移動させて、第１、第２コリメータ２ａ，２ｂを、リファレンスカメラユニット３の第１、第２リファレンスカメラ３ａ，３ｂに正対させる。

【0027】

制御部４は、コリメータユニット２が上昇端の待機位置で停止している際に、コリメータユニット２の第１、第２コリメータ２ａ，２ｂから出射されるコリメータ光をリファレンスカメラユニット３の第１、第２リファレンスカメラ３ａ，３ｂの撮像素子で受光させる。そして、そのときの画像処理部３ｃからの画像信号に基づいて参照収束座標Ｐ１，Ｐ２を検出する。

【0028】

又、制御部４は、コリメータユニット２が校正位置まで下降した際に、コリメータユニット２の第１、第２コリメータ２ａ，２ｂから出射されるコリメータ光を校正対象ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂの撮像素子で受光させる。そして、そのときの画像処理／補正部５ｃからの画像信号に基づいて校正収束座標Ｐ１'，Ｐ２'を検出する。

【0029】

ここで、図４Ａ、図４Ｂを参照して、コリメート光の特性を、それを受光する校正対象ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂに設けた対物レンズ５ａa，５ｂaとその焦点距離の位置に配設した撮像素子５ａb，５ｂbを用いて簡単に説明する。

【0030】

図４Ａに示すように、コリメート光（平行光）がカメラの光軸と平行に入射されると、対物レンズ５ａa，５ｂaによって、このコリメート光は撮像素子５ａb，５ｂbの光軸上に結像される。従って、校正収束座標Ｐ１'，Ｐ２'は撮像面Ｆ１，Ｆ２の中心となる。これは、コリメート光を平行に移動させた場合も同様である。

【0031】

一方、図４Ｂに示すように第１、第２カメラ５ａ，５ｂ全体を傾斜させた場合、コリメート光の入射角が相対的に変化するため、撮像素子５ａb，５ｂbに対する結像位置は光軸上からずれる。そのため、校正収束座標Ｐ１'，Ｐ２'は撮像面Ｆ１，Ｆ２の中心とは異なる位置になる。しかし、第１、第２コリメータ２ａ，２ｂは常に一定の位置に固定されているとは限らず、連続的な稼働により第１、第２コリメータ２ａ，２ｂを支持するマウントベース等の経時的な劣化を原因として傾きが生じ易い。尚、図２Ａ、図２Ｂでは、第２コリメータ２ｂにのみ傾きが生じた状態が記載されているが、第１コリメータ２ａのみに傾きが生じる場合、或いは第１、第２コリメータ２ａ，２ｂの双方に傾きが生じる場合もある。

【0032】

その結果、第１、第２コリメータ２ａ，２ｂから出射されるコリメート光の平行度が保証されなくなる。しかし、図３に示すように、検査ライン上においてコリメータユニット２は、コンベア１２にて搬送されてくる校正対象ステレオカメラユニット５に対し、外部パラメータの校正を逐次連続的に行っている。そのため、第１、第２コリメータ２ａ，２ｂから出射されるコリメート光の平行度を、一定周期で調整するには、検査ラインをその都度停止させる必要があり、生産効率の低下を招くことになる。

【0033】

本実施形態は、コリメータユニット２に設けられている第１、第２コリメータ２ａ，２ｂから出射されるコリメート光の平行度が劣化により保証されない状態であっても、修正することなく、校正対象ステレオカメラユニット５に設けられている第１、第２カメラ５ａ，５ｂの外部パラメータの校正を行うことができるようにしている。

【0034】

制御部４による校正対象ステレオカメラユニット５の校正は、具体的には、図６に示すコリメータ変位量算出ルーチン、図７に示すステレオカメラユニット校正処理ルーチンに従って行われる。尚、図６に示すフローチャートでの処理が、本発明のコリメータ変位量算出部に対応している。

【0035】

図６に示すフローチャートは、校正対象ステレオカメラユニット５が検査ライン上の校正工程部Ｐｃを通過する、予め設定した周期（台数）毎に起動される。先ず、ステップＳ１で、制御部４は、待機位置で停止しているコリメータユニット２の第１、第２コリメータ２ａ，２ｂから出射されているコリメータ光を、リファレンスカメラユニット３の第１、第２リファレンスカメラ３ａ，３ｂの撮像素子に受光させる。

【0036】

次いで、ステップＳ２へ進み、制御部４は、撮像素子で受光した画像を処理した画像処理部３ｃからの画像信号に基づいて、撮像面Ｆ１，Ｆ２に結像したコリメータ光の参照収束座標Ｐ１，Ｐ２を検出する。そして、駆動部２ｃによりアーム２ｄを回転移動、及び／又は水平移動させて、参照収束座標Ｐ１（又はＰ２）が、撮像面Ｆ１（又はＦ２）の光軸中心に対して所定範囲内に収まるように調整する。これにより、第１コリメータ２ａ（第２コリメータ２ｂ）からのコリメート光がリファレンスカメラユニット３の第１リファレンスカメラ３ａ（第２リファレンスカメラ３ｂ）の光軸とほぼ平行になる。

【0037】

その後、ステップＳ３へ進み、制御部４は、参照収束座標Ｐ１、Ｐ２を検出し、光軸の変位量ｄを算出して、ルーチンを終了する。

【0038】

変位量ｄは、Ｐ１とＰ２との座標（ｘ，ｙ）の差分である。リファレンスカメラユニット３の第１、第２リファレンスカメラ３ａ，３ｂの光軸は平行に設定されているため、変位量ｄが０の場合は、第１、第２コリメータ２ａ，２ｂの光軸が平行であることを示している。又、図２Ｂに示すように、変位量ｄが０以外の場合は、第１、第２コリメータ２ａ，２ｂの光軸がずれていることを示している。

【0039】

この変位量ｄは、図７に示すステレオカメラユニット校正処理ルーチンを実行する際に読込まれる。このルーチンは、コンベア１２によって搬送されるカメラ支持機１３に固定されている校正対象ステレオカメラユニット５が、校正工程部Ｐｃに接近するタイミングに同期して実行される。

【0040】

先ず、ステップＳ１１で、制御部４は、校正対象ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂが校正工程部Ｐｃに接近するタイミングで、昇降装置１４を動作させて、コリメータユニット２を校正位置まで下降させる。そして、コリメータユニット２の第１、第２コリメータ２ａ，２ｂを、校正対象ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂの正面に提示させる。次いで、コリメータユニット２の第１、第２コリメータ２ａ，２ｂから出射されているコリメータ光を、校正対象ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂの撮像素子に受光させる。

【0041】

次いで、ステップＳ１２へ進み、制御部４は、撮像素子で受光した画像を処理した画像処理／補正部５ｃからの画像信号に基づいて、撮像面Ｆ１'，Ｆ２'に結像したコリメータ光の校正収束座標Ｐ１'，Ｐ２'を検出する。そして、制御部４は、駆動部２ｃによりアーム２ｄを回転移動、及び／又は水平移動させて、収束座標Ｐ１，Ｐ１'（又はＰ２，Ｐ２'）が同じ座標となるように調整する。

【0042】

コンベア１２によって搬送される校正対象ステレオカメラユニット５とコリメータユニット２との位置関係は常に同じではなく、校正対象ステレオカメラユニット５が固定されているカメラ支持機１３の設置誤差によっても位置関係にズレが生じる。そのため、校正対象ステレオカメラユニット５とコリメータユニット２との位置関係が互いに傾斜する場合がある。従って、第１、第２コリメータ２ａ，２ｂの双方を傾斜させたままの状態で、校正対象ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂに対し、コリメート光を出射すると、第１、第２カメラ５ａ，５ｂで撮像した画像に歪みが生じ易い。

【0043】

この場合、図４Ａに示すように、第１、第２コリメータ２ａ，２ｂを校正対象ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂに正対させた状態でコリメート光を出射させれば 、コリメート光は第１、第２カメラ５ａ，５ｂの光軸と平行になるため画像の歪みを最小限に抑制することができる。しかし、コリメータユニット２の第１、第２コリメータ２ａ，２ｂの光軸が平行でない場合、第１、第２コリメータ２ａ，２ｂの双方を校正対象ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂの光軸と平行に設定することは困難である。

【0044】

そのため、本実施形態では、先ず、図６に示すフローチャートのステップＳ２において、参照収束座標Ｐ１（又はＰ２）が光軸中心で受光するように、コリメータユニット２の傾きを調整する。そして、ステップＳ１２において、収束座標Ｐ１，Ｐ１'（又はＰ２，Ｐ２'）が同じ座標となるように調整し、調整した校正収束座標Ｐ１'（又はＰ２'）を基準として、後述するステップＳ１３において変位量ｄ'を算出する。これにより、第１、第２コリメータ２ａ，２ｂの第１、第２リファレンスカメラ３ａ，３ｂに対する光軸の傾きによる画像の歪みを最小限に抑制することができる。

【0045】

次いで、ステップＳ１３へ進み、制御部４は、校正収束座標Ｐ１'，Ｐ２'を検出し、変位量ｄ'を算出してステップＳ１４へ進む。変位量ｄ'は、Ｐ１'とＰ２'との座標（ｘ，ｙ）の差分である。尚、このステップＳ１３での処理が、本発明のカメラ変位量算出部に対応している。

【0046】

図５に示す校正対象ステレオカメラユニット５に設けた第１、第２カメラ５ａ，５ｂの正面に提示されるコリメータユニット２の第１、第２コリメータ２ａ，２ｂは、図２Ｂに示すリファレンスカメラユニット３に設けた第１、第２リファレンスカメラ３ａ，３ｂの正面に提示されたものと同一である。そのため、収束座標Ｐ１，Ｐ１'（又はＰ２，Ｐ２'）が同じ座標となるようにコリメータユニット２の傾きを調整した場合、変位量ｄ'は、座標を調整しなかった側の校正収束座標Ｐ２'（又はＰ１'）に表れる。

【0047】

その後、ステップＳ１４へ進み、変位量ｄを読込む。次いで、ステップＳ１５へ進み、変位量ｄ，ｄ'を比較する。校正対象ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂの光軸が平行であり、且つ、コリメータユニット２の第１、第２コリメータ２ａ，２ｂの光軸に変化がない場合、変位量ｄ，ｄ'は一致する（ｄ＝ｄ'）。又、変位量ｄ，ｄ'が一致していない場合（ｄ≠ｄ'）、校正対象ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂの光軸はずれていると判定する。

【0048】

そして、変位量ｄ，ｄ'が同じ場合（ｄ＝ｄ'）、ステップＳ２０へジャンプする。又、変位量ｄ，ｄ'が異なる場合（ｄ≠ｄ'）、ステップＳ１６へ進む。ステップＳ１６では、変位量ｄ，ｄ'の差分から校正値εを算出する（ε＝ｄ－ｄ'）。制御部４は、ステップＳ１２において、収束座標Ｐ１，Ｐ１'（又はＰ２，Ｐ２'）が同じ座標となるように調整している。従って、この校正値εは、ステップＳ１２で座標が調整されていない側の校正収束座標Ｐ２'（又はＰ１'）を示す第１カメラ５ａ（又は第２カメラ５ｂ）の参照位置に対する校正値となる。尚、ステップＳ１６での処理が、本発明の校正値算出部に対応している。

【0049】

次いで、ステップＳ１７へ進み、校正値εが０になる画像オフセット量Δεを求め、ステップＳ１８で、この画像オフセット量Δεを、校正対象ステレオカメラユニット５の不揮発性メモリに保存させる。この画像オフセット量Δεが外部パラメータのズレに対応する補正量となる。尚、このステップＳ１７での処理が、本発明の画像オフセット量算出部に対応している。

【0050】

その後、ステップＳ１９へ進み、不揮発性メモリに記憶されている画像オフセット量Δεに基づいて、校正した第１カメラ５ａ（又は第２カメラ５ｂ）の画像を補正し、ステップＳ２０へ進む。尚、校正対象ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂが校正工程部Ｐｃを通過した後におけるステップＳ１９での処理は、校正対象ステレオカメラユニット５の不揮発性メモリに保存されている画像オフセット量Δεに基づき、画像処理／補正部５ｃが独立して実行する。

【0051】

ステップＳ１５、或いはステップＳ１９からステップＳ２０へ進むと、制御部４は、昇降装置１４を作動させてコリメータユニット２を待機位置まで上昇させて、ルーチンを終了する。

【0052】

以上説明したように、本実施形態は、コリメータユニット２とリファレンスカメラユニット３と制御部４と備え、制御部４は、先ず、コリメータユニット２の第１、第２コリメータ２ａ，２ｂからのコリメート光をリファレンスカメラユニット３の第１、第２リファレンスカメラ３ａ，３ｂで受光させ、その位置座標（参照収束座標）Ｐ１，Ｐ２の差分から、第１、第２コリメータ２ａ，２ｂの位置ずれによって生じるコリメート光の変位量ｄを算出する。

【0053】

次いで、制御部４は、同じコリメータユニット２の第１、第２コリメータ２ａ，２ｂからのコリメート光を、カメラ支持機１３に固定されている校正対象ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂに照射して受光させ、その位置座標（校正収束座標）Ｐ１'，Ｐ２'の差分から変位量ｄ'を算出する。

【0054】

この変位量ｄ'には、第１、第２コリメータ２ａ，２ｂの光軸ズレによる因子と、外部パラメータによるズレの因子との双方が含まれている。そのため、変位量ｄ，ｄ'の差分を求めて、第１、第２コリメータ２ａ，２ｂの光軸ズレによる因子を除き、校正対象ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂの外部パラメータによる校正値εを算出する。

【0055】

従って、コリメータユニット２の第１、第２コリメータ２ａ，２ｂに光軸ズレが生じた場合であっても、第１、第２コリメータ２ａ，２ｂの光軸を調整する必要が無くなる。その結果、第１、第２コリメータ２ａ，２ｂの光軸を調整するために検査ラインを一時停止させること無く、校正対象ステレオカメラユニット５の第１、第２カメラ５ａ，５ｂの校正を連続して行える。そのため、高い生産効率を得ることができる。

【符号の説明】

【0056】

１…ステレオカメラユニット校正装置、
２…コリメータユニット、
２ａ，２ｂ…第１、第２コリメータ、
２ｃ…駆動部、
２ｄ…アーム、
３…リファレンスカメラユニット、
３ａ，３ｂ…第１、第２リファレンスカメラ、
３ｃ…画像処理部、
４…制御部、
５…校正対象ステレオカメラユニット、
５ａa，５ｂa…対物レンズ、
５ａ，５ｂ…第１、第２カメラ、
５ａb，５ｂb…撮像素子、
５ｃ…画像処理／補正部、
１１…天井、
１２…コンベア、
１３…カメラ支持機、
１４…昇降装置、
１５…パレット、
Ｆ１，Ｆ２，Ｆ１'，Ｆ２'…撮像面、
Ｌ…距離、
Ｐ１、Ｐ２…参照収束座標、
Ｐ１'，Ｐ２'…校正収束座標、
ｄ，ｄ'…変位量、
Δε…画像オフセット量、
ε…校正値

【図1】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】