(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024167670
(43)【公開日】2024-12-04
(54)【発明の名称】カメラユニットの校正装置及び校正方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20241127BHJP
G01C 3/00 20060101ALI20241127BHJP
G01C 3/06 20060101ALI20241127BHJP
G01B 11/245 20060101ALI20241127BHJP
G03B 15/00 20210101ALI20241127BHJP
G03B 35/10 20210101ALI20241127BHJP
【FI】
H04N23/60
G01C3/00 120
G01C3/06 110V
G01C3/06 140
G01B11/245 H
G03B15/00 T
G03B35/10
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023083897
(22)【出願日】2023-05-22
(71)【出願人】
【識別番号】000005348
【氏名又は名称】株式会社SUBARU
(74)【代理人】
【識別番号】110004185
【氏名又は名称】インフォート弁理士法人
(74)【代理人】
【識別番号】110002907
【氏名又は名称】弁理士法人イトーシン国際特許事務所
(72)【発明者】
【氏名】小甲 啓隆
【テーマコード(参考)】
2F065
2F112
2H059
5C122
【Fターム(参考)】
2F065AA04
2F065AA53
2F065BB05
2F065BB29
2F065CC11
2F065EE05
2F065FF01
2F065FF05
2F065FF09
2F065FF61
2F065JJ03
2F065JJ05
2F065JJ19
2F065JJ26
2F065LL04
2F065LL50
2F065QQ24
2F065QQ28
2F065QQ31
2F065UU05
2F065UU09
2F112AC03
2F112AC06
2F112BA12
2F112CA05
2F112CA12
2F112DA28
2F112DA32
2F112DA40
2F112FA03
2F112FA21
2F112FA23
2F112FA35
2F112FA45
2F112GA01
2H059AA08
2H059AA12
5C122DA14
5C122EA31
5C122EA55
5C122FA04
5C122FA18
5C122FB11
5C122FH06
5C122FH11
5C122FH14
5C122GE06
5C122GE11
5C122GE24
5C122GE26
5C122GG09
5C122HA88
5C122HB01
5C122HB05
5C122HB10
(57)【要約】
【課題】撮像画像の幾何歪みを画像全範囲で校正し補正するカメラユニットの校正装置を提供する。
【解決手段】複数カメラで同一対象物を撮像し取得画像に基づき計測を行うカメラユニットの校正装置であり、複数カメラに各対応する複数のコリメータと、複数のコリメータに各対応する複数のコリメータ駆動装置と、複数のコリメータからの光を所定方向へ反射させる複数の平面鏡と、複数の平面鏡に各対応する複数の鏡駆動装置と、複数のコリメータを平行移動自在に支持し複数の平面鏡を揺動自在に支持する支柱ユニットと、コリメータとコリメータ駆動装置と鏡駆動装置とを制御するコリメータ制御ユニットを具備するコリメータユニットと、コリメータユニットを制御する制御ユニットとを備え、制御ユニットはコリメータ駆動装置及び鏡駆動装置を制御して、コリメータ及び平面鏡の位置及び向きを設定し、複数カメラの各撮像面の所望位置にコリメート像を結像させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
複数のカメラを用いて同一の対象物を異なる視点から撮像して取得した複数の画像に基づき所定の計測を行うカメラユニットの校正装置であって、
前記複数のカメラに各対応して設けられる複数のコリメータと、前記複数のコリメータに各対応して設けられる複数のコリメータ駆動装置と、前記複数のコリメータからのコリメート光を所定の方向へ反射させる複数の平面鏡と、前記複数の平面鏡に各対応して設けられる複数の鏡駆動装置と、前記複数のコリメータを所定の平面内においてそれぞれ別個に平行移動自在に支持すると共に前記複数の平面鏡を揺動自在に支持する支柱ユニットと、前記複数のコリメータと前記複数のコリメータ駆動装置と前記複数の鏡駆動装置とを制御するコリメータ制御ユニットと、を具備するコリメータユニットと、
前記コリメータユニットを制御する制御ユニットと、
を具備し、
前記制御ユニットは、
前記複数のコリメータ駆動装置及び前記複数の鏡駆動装置を制御して、前記複数のコリメータ及び前記複数の平面鏡のそれぞれを所定の位置及び向きとなるように別個に設定し、
前記複数のカメラのそれぞれの撮像面の範囲内における所望の位置に前記複数のコリメータによってそれぞれ形成される複数のコリメート像を結像させる
ことを特徴とするカメラユニットの校正装置。
【請求項2】
前記複数のコリメータからのそれぞれのコリメート光の光軸と、前記複数のカメラのそれぞれの光軸とは、非平行に設定され、
前記複数のコリメート光の光軸は、互いに平行に設定される
ことを特徴とする請求項1に記載のカメラユニットの校正装置。
【請求項3】
前記制御ユニットは、さらに、
前記複数のカメラの各撮像面に結像する前記複数のコリメート像の実結像座標を推定し、
前記複数のコリメート像の各実結像座標を比較する校正処理と、
前記校正処理の結果、前記複数のコリメート像の各実結像座標が一致していない場合には、前記複数のコリメート像の各実結像座標が一致するように画像の幾何的な歪み補正を行う画像補正処理と、
を実行することを特徴とする請求項1に記載のカメラユニットの校正装置。
【請求項4】
前記カメラユニットは、ステレオカメラユニットであることを特徴とする請求項1に記載のカメラユニットの校正装置。
【請求項5】
複数のカメラを用いて同一の対象物を異なる視点から撮像して取得した複数の画像に基づき所定の計測を行うカメラユニットの校正方法であって、
前記複数のコリメータ駆動装置及び前記複数の鏡駆動装置を制御して、前記複数のコリメータ及び前記複数の平面鏡のそれぞれを所定の位置及び向きとなるように別個に設定し、
前記複数のカメラのそれぞれの撮像面の範囲内における所望の位置に前記複数のコリメータによってそれぞれ形成される複数のコリメート像を結像させ、
前記複数のカメラの各撮像面に結像する前記複数のコリメート像の実結像座標を推定し、
前記複数のコリメート像の各実結像座標を比較する校正処理を実行し、
前記校正処理の結果、前記複数のコリメート像の各実結像座標が一致していない場合には、前記複数のコリメート像の各実結像座標が一致するように画像の幾何的な歪み補正を行う画像補正処理を実行することを特徴とするカメラユニットの校正方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、複数のカメラを用いて同一の対象物を異なる視点から撮像して取得した複数の画像に基づき所定の計測を行うカメラユニットの校正装置及び校正方法に関する発明である。
【背景技術】
【0002】
従来、複数のカメラを具備して構成され、これら複数のカメラを用いて同一の対象物を含む略同一の所定の範囲の領域を異なる視点から撮像し、取得された複数の画像データに基づいて所定の画像処理を行うことにより、各種の計測を行い若しくは各種の画像を生成し得るカメラユニットについては、種々の提案がなされており、広く一般に実用化されている。
【0003】
例えば、所定の距離をおいて水平方向に並べて配置した2台のカメラを備えて構成されるカメラユニットにおいて、同一の対象物を撮像して得られる2つの画像データに基づいて、例えば視差情報を用いて対象物までの距離を算出し、または当該対象物の画面内における位置等を算出する技術が広く普及している。
【0004】
この種のカメラユニットを所定の場所に設置して使用する場合には、例えば、当該カメラユニットを保護する目的等によって、当該カメラユニットの全体を覆うケース等が用いられる場合がある。
【0005】
このような形態で使用する場合、当該ケースには、例えばカメラユニットの前方領域の視界を確保するために、ガラス或いはアクリル等の素材からなる略無色透明の板状光学部材を利用して形成される窓部材が設置されることがある。
【0006】
具体的な構成例としては、例えば、自動車等の車両の内部に搭載されて、当該車両の周囲(主に前方)の外部状況の画像データを取得するためのカメラユニット等がある。この種の車両搭載型カメラユニットにおいては、当該カメラユニットの撮像レンズと撮像対象物との間の領域に、例えば、車両のフロントガラスが配置されることになる。したがって、この場合、当該カメラユニットは、撮像対象物をフロントガラス越しに撮像することになる。
【0007】
一般に、カメラユニットの撮像レンズと撮像対象物との間にフロントガラス等の光学部材が配置される状況で撮像動作が行われる場合に取得される画像においては、例えば、対象物からの光束がフロントガラス等を透過する際に光学的な屈折の影響を受けて、画像上に幾何的な歪み等の悪影響が発生する可能性がある。
【0008】
このようにして、カメラユニットにより取得された画像に、幾何的な歪み等が発生している場合、正確な視差情報等を取得することができない。したがって、不正確な視差情報等に基づいて算出される演算結果(例えば対象物までの距離等)には誤差等が含まれることから、正確な計測ができないことになる。このようなことから、カメラユニットを用いて正確な演算結果を得るためには、常に正確な情報を取得することは重要である。
【0009】
そこで、従来においては、カメラユニットにより取得された撮像画像に発生した幾何的な歪みを計測し、その計測結果に基づいて画像補正を行うことが考えられている。撮像画像の幾何的な歪みを計測する手段としては、従来、例えば無限遠位置に置いたチャートボード等の対象物を撮像することにより、フロントガラス等に起因して発生する幾何的な歪みを計測する手段がある。しかしながら、このような手段を用いるには、広大な空間を必要とすることが判っており、実現するのは困難である。
【0010】
一方、無限遠位置に置いたチャート像を生成する手法として、例えばコリメータ等の機器を用いる手段が、例えば、国際特許公開WO2021/024612号公報,特開2012-132739号公報,特開2019-90755号公報等によって種々開示されている。
【0011】
前記国際特許公開WO2021/024612号公報等によって開示されている技術は、コリメータと有限距離チャートボード及び無限遠距離チャートを用いて、車両に搭載したカメラユニットの2台のカメラ間に生じる像ずれを補正するというものである。
【0012】
前記特開2012-132739号公報,前記特開2019-90755号公報等によって開示されている技術は、いずれも、コリメータを用いて無限遠距離チャート像を生成し、カメラユニットの2台のカメラの水平方向或いは光軸方向の像ずれを補正するというものである。
【先行技術文献】
【特許文献】
【0013】
【特許文献1】国際特許公開WO2021/024612号公報
【特許文献2】特開2012-132739号公報
【特許文献3】特開2019-90755号公報
【発明の概要】
【発明が解決しようとする課題】
【0014】
ところが、前記国際特許公開WO2021/024612号公報,前記特開2012-132739号公報,前記特開2019-90755号公報等によって開示されている技術は、いずれもカメラユニットに対してコリメータが固定されている構成となっている。
【0015】
このことから、コリメータによって形成される像(以下、コリメート像という)は、カメラユニットによって撮像される画像の範囲内の所定の領域にのみ撮像される形態となっている。したがって、コリメート像が撮像されない画像領域が生じてしまうので、その領域においては、歪み補正を行うことができないという問題点がある。
【0016】
そのために、画像の範囲内において、特に周辺領域などであっても、コリメート像が撮像され得るように、例えば、コリメータを大口径化することなどが、前記特開2012-132739号公報等によって開示されている。
【0017】
しかしながら、コリメータを大口径化することは、コリメータを含む装置全体の大型化と高価格化を招いてしまうという問題点があり、現実的ではない。
【0018】
特に、近年、車両搭載型のカメラユニットにあっては、適用されるカメラの撮像画角の広角化が進んでいる。このことから、カメラユニットによって取得される広角化された画像の全範囲内に対して歪み補正を確実に実行し得るようにするためには、コリメータのさらなる大口径化が必要となってしまうという問題点がある。
【0019】
本発明は、複数のカメラを用いて同一の対象物を異なる視点から撮像して取得した複数の画像に基づき所定の計測を行うカメラユニットの校正装置及び校正方法であって、広大な空間を必要とせずに省スペースにて、無限遠位置に置いた対象物を撮像して取得される画像に発生する幾何的な歪みを、取得画像の全範囲において高精度に計測(校正)し補正することのできるカメラユニットの校正装置及び校正方法を提供することを目的とする。
【課題を解決するための手段】
【0020】
上記目的を達成するために、本発明の一態様のカメラユニットの校正装置は、複数のカメラを用いて同一の対象物を異なる視点から撮像して取得した複数の画像に基づき所定の計測を行うカメラユニットの校正装置であって、前記複数のカメラに各対応して設けられる複数のコリメータと、前記複数のコリメータに各対応して設けられる複数のコリメータ駆動装置と、前記複数のコリメータからのコリメート光を所定の方向へ反射させる複数の平面鏡と、前記複数の平面鏡に各対応して設けられる複数の鏡駆動装置と、前記複数のコリメータを所定の平面内においてそれぞれ別個に平行移動自在に支持すると共に前記複数の平面鏡を揺動自在に支持する支柱ユニットと、前記複数のコリメータと前記複数のコリメータ駆動装置と前記複数の鏡駆動装置とを制御するコリメータ制御ユニットと、を具備するコリメータユニットと、前記コリメータユニットを制御する制御ユニットと、を具備し、前記制御ユニットは、前記複数のコリメータ駆動装置及び前記複数の鏡駆動装置を制御して、前記複数のコリメータ及び前記複数の平面鏡のそれぞれを所定の位置及び向きとなるように別個に設定し、前記複数のカメラのそれぞれの撮像面の範囲内における所望の位置に前記複数のコリメータによってそれぞれ形成される複数のコリメート像を結像させる。
【0021】
本発明の一態様のカメラユニットの校正方法は、複数のカメラを用いて同一の対象物を異なる視点から撮像して取得した複数の画像に基づき所定の計測を行うカメラユニットの校正方法であって、前記複数のコリメータ駆動装置及び前記複数の鏡駆動装置を制御して、前記複数のコリメータ及び前記複数の平面鏡のそれぞれを所定の位置及び向きとなるように別個に設定し、前記複数のカメラのそれぞれの撮像面の範囲内における所望の位置に前記複数のコリメータによってそれぞれ形成される複数のコリメート像を結像させ、前記複数のカメラの各撮像面に結像する前記複数のコリメート像の実結像座標を推定し、前記複数のコリメート像の各実結像座標を比較する校正処理を実行し、前記校正処理の結果、前記複数のコリメート像の各実結像座標が一致していない場合には、前記複数のコリメート像の各実結像座標が一致するように画像の幾何的な歪み補正を行う画像補正処理を実行する。
【発明の効果】
【0022】
本発明によれば、広大な空間を必要とせずに省スペースにて、無限遠位置に置いた対象物を撮像して取得される画像に発生する幾何的な歪みを、取得画像の全範囲において高精度に計測(校正)し補正することのできるカメラユニットの校正装置及び校正方法を提供することができる。
【図面の簡単な説明】
【0023】
【
図1】本発明の一実施形態のカメラユニットの校正装置の概略構成を示すブロック構成図
【
図2】カメラユニットを用いて無限遠位置に置いた対象物を撮像する際の様子と、そのとき取得される画像を模式的に示す概念図(通常撮像時の基準画像)
【
図3】カメラユニットを用いて無限遠位置に置いた対象物を撮像する際の様子と、そのとき取得される画像を模式的に示す概念図(校正対象画像)
【
図4】本発明の一実施形態の校正装置を用いて行う校正処理のうち、校正対象画像における像ずれ量を求める際の作用を説明する模式図
【
図5】本発明の一実施形態の校正装置の作用の概略を示すフローチャート
【発明を実施するための形態】
【0024】
以下、図示の実施の形態によって本発明を説明する。以下の説明に用いる各図面は模式的に示すものであり、各構成要素を図面上で認識できる程度の大きさで示すために、各部材の寸法関係や縮尺等を構成要素毎に異ならせて示している場合がある。したがって、本発明は、各図面に記載された各構成要素の数量や各構成要素の形状や各構成要素の大きさの比率や各構成要素の相対的な位置関係等に関して、図示の形態のみに限定されるものではない。
【0025】
なお、本実施形態の以下の説明において、「校正(較正とも書く)」とは、例えば、車両に搭載された状態の校正対象とするカメラユニットに含まれる複数のカメラによって取得された複数の画像(実画像という)中の対象物の像の位置(実結像座標)の像ずれ量と、複数の基準画像(後述)中における対象物の像の想定される結像位置(想定結像座標)の像ずれ量とを比べて両者の像ずれ量を計測することをいう。
【0026】
また、以下の説明において、「補正」とは、例えば、校正対象とするカメラユニットに含まれる複数のカメラによって取得された複数の実画像データに対し、上記の校正結果に基づく所定の画像処理を施すことにより、画像中の対象物の幾何的な歪み補正することをいう。
【0027】
まず、本発明の一実施形態のカメラユニットの校正装置の概略構成について、
図1を用いて以下に説明する。
図1は、本発明の一実施形態のカメラユニットの校正装置の概略構成を示すブロック構成図である。
【0028】
なお、
図1において示す矢印x,y,zは、互いに直交する空間上の3軸を示している。ここで、x軸は、
図1において紙面に平行な平面内における水平方向であって、y軸及びz軸に直交する直線を示している。y軸は、
図1において紙面に対して直交方向であって、x軸及びz軸に直交する直線を示している。z軸は、
図1において紙面に平行な平面内における垂直方向であって、x軸及びy軸に直交する直線を示している。
【0029】
図1に示すように、本実施形態の校正装置1は、コリメータユニット10と、制御ユニット20とによって主に構成されている。
【0030】
なお、
図1においては、本実施形態の校正装置1が、校正対象とするカメラユニット30を搭載した車両に対して設置されている状態を概念的に示している。
【0031】
図1において、符号30は、校正対象のカメラユニットを示している。本実施形態において例示するカメラユニット30は、所定の距離をおいて水平方向に並べて配置した複数の撮像装置である2つのカメラ(31L,31R)を有して構成されるいわゆるステレオカメラユニットである。このカメラユニット30の構成については後述する。
【0032】
図1において、符号100は、校正対象のカメラユニット30が搭載される自動車等の車両(不図示)のフロントガラス等を示している。フロントガラス等100は、板状の光学部材からなる。このフロントガラス等100については後述する。
【0033】
コリメータユニット10は、
図1に示すように、複数のコリメータ(11L,11R)と、複数のコリメータ駆動装置15と、支柱ユニット16と、コリメータ制御ユニット17と、複数の平面鏡(18LA,18LB,18RA,18RB)と、複数の鏡駆動装置19等によって主に構成されている。
【0034】
複数のコリメータ(11L,11R)は、校正対象とするカメラユニット30に含まれる2つのカメラ(31L,31R;後述する)にそれぞれ対応させて、必要な数だけ設けられている。
【0035】
本実施形態においては、カメラユニット30の2つのカメラ(31L,31R)のうちの左カメラ(第1カメラ31L)に対応する第1コリメータ11Lと、右カメラ(第2カメラ31R)に対応する第2コリメータ11Rとの2つのコリメータを具備する構成例を示している。
【0036】
なお、以下の説明において、構成部材名称に付随する数字符号に、さらに付される文字符号「L」,「R」は、「左」,「右」を特定する符号である。したがって、構成部材の左右を特定しないで示す場合には、文字符号「L」,「R」の表記を省略し、数字符号のみを記載して表記する場合がある。
【0037】
また同様に、複数設けられている同様の構成部材については、数字符号に文字符号「A」,「B」等を付して特定の1つを指し示している。したがって、この場合にも、特定の1つの構成部材を指す場合を除き、文字表記を省略して記載する場合がある。
【0038】
例えば、複数のコリメータとして、第1コリメータ11L,第2コリメータ11Rがあるが、コリメータを特定しない場合は、単にコリメータ11と記載する場合がある。
【0039】
コリメータ11は、それぞれが、次のように構成されている。なお、コリメータ11自体の基本的な構成は、従来周知のコリメータと略同様である。したがって、コリメータ11の構成の説明は、以下の簡単な説明に留める。
【0040】
コリメータ11は、光源12と、チャートボード13と、コリメータレンズ14等によって構成されている。コリメータ11は、光源12から出射された光束(拡散光)をコリメータレンズ14に透過させることによって、平行光束(コリメート光)を生成して出射する装置である。
【0041】
この場合において、光源12とコリメータレンズ14との間であって、コリメータレンズ14の焦点位置にはチャートボード13が配設されている。このチャートボード13は、例えば、所定の図形パターンが形成されたボード部材であって、光束を透過させ或いは反射させることで、所定のパターン像を形成し、所定の結像面に結像させるための板状部材である。本実施形態の校正装置1に含まれる複数のコリメータ11にて適用されるチャートボード13は、例えば透過型のチャートボードを想定している。
【0042】
このような構成からなるコリメータ11においては、光源12から出射された光束は、チャートボード13を透過することにより、所定の図形パターンのチャート像を形成する。このチャート像を形成する光束は、コリメータレンズ14によって平行光束とされて出射する。このときの出射光をコリメート光というものとする。
図1において符号C1,C2は、コリメート光の光軸を示している。
このうち、
図1の符号C1は、コリメータ11から出射して平面鏡18にて反射するまでのコリメート光を示している。また、
図1の符号C2は、平面鏡18にて反射した後、カメラユニット30の2つのカメラ31の各撮像素子33(後述)の撮像面上の所定の位置に結像するまでのコリメート光を示している。このコリメート光によって形成されるチャート像は、例えば無限遠位置に置いた対象物の像と等価なものとして取り扱うことができる。
【0043】
コリメータ駆動装置15は、各コリメータ11のそれぞれの基端に接続され、各コリメータ11を駆動する駆動源である。各コリメータ駆動装置15は、各コリメータ11のコリメート光C1が出射する方向を調整する。各コリメータ駆動装置15は、各コリメータ11の基端を回転中心として、x軸を含む平面に沿う方向においては、
図1の符号R1に示す所定の範囲内で各コリメータ11を回動させ得る。また、
図1においては図示されていないが、y軸を含む平面に沿う方向においても、x軸方向と同様の所定の範囲内で各コリメータ11を回動させ得る。
【0044】
このような構成により、各コリメータ11は、2つのカメラ31によって取得される各画像のうち主に中央部を含む所定領域における所定の位置にコリメート像を結像させることができるように構成されている。
【0045】
さらに、各コリメータ駆動装置15及び各コリメータ11は、
図1のx軸方向及びy軸方向、即ちxz平面及びxy平面内において平行移動自在に構成されている。
【0046】
支柱ユニット16は、各コリメータ駆動装置15を支持し、各コリメータ駆動装置15及び各コリメータ11のxz平面及びxy平面内における平行移動を許容する支持ユニットである。
【0047】
また、支柱ユニット16には、複数の鏡支持腕16aが設けられている。この鏡支持腕16aは、複数の平面鏡18のそれぞれを別個に揺動自在に支持する支持部材である。鏡支持腕16aは、各コリメータ11を挟んで対向する位置に設けられている。鏡支持腕16aは、支柱ユニット16においてコリメータ11が支持されている面から直交する方向に延出して形成されている。
【0048】
そして、複数の鏡支持腕16aの各先端には、鏡駆動装置19が配設されている。各鏡駆動装置19には、平面鏡18が揺動自在に配設されている。
【0049】
複数の平面鏡18は、コリメータ11から出射されるコリメート光C1を受けて、所定の方向(具体的には撮像素子の方向)へと反射させる鏡面を有する構成部材である。そのために、各平面鏡18は、それぞれが鏡駆動装置19によって駆動されるように構成されている。これにより、各平面鏡18は、鏡支持腕16aの先端を回転中心として
図1の矢印R2方向に揺動自在となっている。
【0050】
本実施形態の構成において、複数の平面鏡18としては、カメラユニット30の2つのカメラ31のそれぞれに対応させて設けられる4つの平面鏡を具備する。この4つの平面鏡18は、第1カメラ31Lに対応する2つの平面鏡(第1平面鏡18LA,第2平面鏡18LB)と、第2カメラ31Rに対応する2つの平面鏡(第3平面鏡18RA,第4平面鏡18RB)とがある。
【0051】
このうち、第1平面鏡18LAは、第1カメラ31Lによって取得される画像のうち主に左半部の領域の所定の位置に向けてコリメート像を反射させる。第2平面鏡18LBは、第1カメラ31Lによって取得される画像のうち主に右半部の領域の所定の位置に向けてコリメート像を反射させる。第3平面鏡18RAは、第2カメラ31Rによって取得される画像のうち主に左半部の領域の所定の位置に向けてコリメート像を反射させる。第4平面鏡18RBは、第2カメラ31Rによって取得される画像のうち主に右半部の領域の所定の位置に向けてコリメート像を反射させる。
【0052】
なお、複数の平面鏡18は、2つのカメラ31によって取得される各画像の全範囲のうち主に周辺寄りの所定領域における所定の位置に向けてコリメート像を反射させることができるように構成されている。
【0053】
複数の鏡駆動装置19は、複数の平面鏡18のそれぞれに接続され、各平面鏡18を所定の方向(
図1の矢印符号R2方向)に揺動させる駆動源である。
【0054】
コリメータ制御ユニット17は、制御ユニット20の制御下において、各コリメータ11と各コリメータ駆動装置15と各鏡駆動装置19の制御を行う構成ユニットまたは電子回路である。コリメータ制御ユニット17は、各コリメータ11のオンオフ制御や光量調整などの制御を行う。また、コリメータ制御ユニット17は、各コリメータ駆動装置15及び鏡駆動装置19を制御して、各コリメータ11の位置及び向きの調整及び平面鏡18の向きの調整を行う。この調整を行うことにより、各コリメータ11からのコリメート光C1は、各平面鏡18の鏡面上の所定の位置にて反射した後、コリメート光C2としてカメラユニット30の2つのカメラ31の各撮像面の範囲内(撮像画像の全範囲内)における所望の位置に結像する。
【0055】
制御ユニット20は、当該校正装置1の全体を統括的に制御する構成ユニットまたは電子回路である。即ち、制御ユニット20は、コリメータユニット10に接続され、当該コリメータユニット10を制御する。また、制御ユニット20は、校正対象のカメラユニット30における画像認識ユニット35(後述)に対して接続される。
【0056】
制御ユニット20は、校正回路20aと、補正回路20bとを有する。これら校正回路20a及び補正回路20bは、それぞれ所定の校正処理及び補正処理を行う構成ユニットまたは電子回路である。
【0057】
校正回路20aは、校正対象のカメラユニット30によって取得された画像データを受けて、当該画像中の対象物の像(コリメート像)の位置(実結像座標)を求める。また、校正回路20aは、各コリメータ11から設定情報(位置及び向き等の情報)を受領して、当該設定情報に対応する対象物の像(コリメート像)の想定される結像位置(想定結像座標)を求める。そして、校正回路20aは、実結像座標と想定結像座標とを比べて、像ずれ量を計測する校正処理を実行する。
【0058】
補正回路20bは、校正対象のカメラユニット30によって取得された複数の実画像データに対し、校正処理の結果に基づいて所定の画像補正処理(即ち画像中の対象物の幾何的な歪み補正等の処理)を実行する。
本実施形態の校正装置1の構成は、以上である。
【0059】
ところで、本実施形態の校正装置1が校正対象とするカメラユニット30は、上述したように、いわゆるステレオカメラユニットとして構成されているものとしている。そのために、カメラユニット30は、
図1に示すように、2つのカメラ31と、画像処理ユニット(IPU)34と、画像認識ユニット35等によって主に構成されている。
【0060】
2つのカメラ31は、左カメラである第1カメラ31Lと、右カメラである第2カメラ31Rとを有する。これら第1カメラ31L及び第2カメラ31Rは、所定の距離をおいて水平方向に並べて配置されている。この場合において、2つのカメラ31は、それぞれの光軸O(
図1参照)が略平行となるように配置されている。
【0061】
なお、カメラ31自体の基本的な構成は、従来周知のカメラと略同様である。したがって、カメラ31自体の構成については、以下の簡単な説明に留める。
【0062】
カメラ31は、撮像レンズ32と、撮像素子33及び撮像基板(不図示)等によって主に構成されている。撮像レンズ32は、対象物の光学像を形成する光学レンズ等からなる。撮像素子33は、撮像レンズ32によって形成される光学像を受けて電気的な画像信号を生成し出力する光電変換素子である。撮像素子33は、例えばCCD(Charge-Coupled Device)イメージセンサ,CMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサ等が適用される。この撮像素子33は、所定の撮像回路等が実装される撮像基板(不図示)上に実装されているのが一般的な形態である。
【0063】
画像処理ユニット(以下、IPUという)34は、カメラ31によって取得された画像データに対して所定の画像処理を施し、画像範囲内の物体についてのエッジ検出処理等の画像処理を行う構成ユニットまたは電子回路である。また、IPU34は、左右の画像上において対応するエッジの位置ずれ量から距離情報を取得し、距離情報を含む画像情報(距離画像情報)を生成する処理などを行う。
【0064】
画像認識ユニット35は、IPU34から受信した距離画像情報などに基づいて、自車両が走行する走行路の左右区画線の道路曲率[1/m]や左右区画線間の幅(車線幅)等の各種情報を求める。
【0065】
さらに、画像認識ユニット35は、距離画像情報に対して所定のパターンマッチングなどを行って道路上の各種立体物等の認識のほか路面状況等の認識を行う。ここで、立体物の認識としては、例えば、立体物の種別、立体物の高さ、立体物までの距離、立体物の速度、立体物と自車両との相対速度、立体物同士の相対的な距離などが行われる。
【0066】
このように構成されるカメラユニット30は、2つのカメラ31を用いて、互いに同期された所定の撮像周期にて、同一の対象物を含む前方の所定の範囲の状況を異なる視点から略同時に撮像して、2つの撮像画像データを取得してステレオ画像を生成する。
【0067】
一方、フロントガラス等100は、校正対象のカメラユニット30が搭載される自動車等の車両(不図示)に設けられる板状の光学部材である。ここで、フロントガラスなど100は、いわゆる前面窓ガラスが相当する。
【0068】
フロントガラス等100は、ほぼ無色透明のガラス或いはアクリル等の素材からなり、表面形状は複雑な曲面を有して形成されている。フロントガラス等100は、校正対象のカメラユニット30と対象物(本実施形態ではコリメータ11の形成するコリメート像が相当する)との間であって、カメラユニット30の撮像レンズ32の前方領域に配置される。
【0069】
なお、制御ユニット20,校正回路20a,補正回路20b,コリメータ制御ユニット17等の全部又は一部はハードウエアを含むプロセッサにより構成されている。また、カメラユニット30に含まれるIPU34,画像認識ユニット35等も同様である。
【0070】
ここで、プロセッサは、例えば、中央処理装置(CPU;Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)や、不揮発性メモリ(Non-volatile memory)、不揮発性記憶装置(Non-volatile storage)等のほか、非一過性の記録媒体(non-transitory computer readable medium)等を備える周知の構成、及びその周辺機器等によって構成されている。
【0071】
ROMや不揮発性メモリ、不揮発性記憶装置等には、CPUが実行するソフトウエアプログラムやデータテーブル等の固定データ等が予め記憶されている。そして、CPUがROM等に格納されたソフトウエアプログラムを読み出してRAMに展開して実行し、また、当該ソフトウエアプログラムが各種データ等を適宜参照等することによって、上記各構成部や構成ユニット等の各機能が実現される。
【0072】
また、プロセッサは、FPGA(Field Programmable Gate Array)などの半導体チップなどにより構成されていてもよい。また、上記各構成部や構成ユニット等は電子回路によって構成してもよい。
【0073】
さらに、ソフトウエアプログラムは、コンピュータプログラム製品として、フレキシブルディスク、CD-ROM、DVD-ROM等の可搬型板媒体や、カード型メモリ、HDD(Hard Disk Drive)装置,SSD(Solid State Drive)装置等の非一過性の記憶媒体(non-transitory computer readable medium)等に、全体あるいは一部が記録されている形態としてもよい。
【0074】
このように構成された本実施形態の校正装置1においては、コリメータユニット10の複数のコリメータ11の位置及び向きと、複数の平面鏡18の向きを所望のタイミングで任意に調整することができる。つまり、複数のコリメータ11から出射したコリメート光C1が平面鏡18にて反射した後のコリメート光C2と、カメラユニット30の2つのカメラ31の各光軸Oとを互いに非平行に設定することができる。この構成によって、カメラ31により取得される画像の全範囲内の所望の位置に対してコリメート像を撮像させることができるようになっている。
【0075】
本実施形態のコリメータユニット10においては、コリメータ11から出射したコリメート光C1を平面鏡18にて反射させ、当該平面鏡18にて反射した後のコリメート光C2を撮像素子33の撮像面上の所望の位置へと導いてコリメート像を結像させるようにしている。この場合において、コリメート光C1は、平面鏡18にて反射した後においても、コリメート光としての性質(平行光束)は損なわれない。したがって、平面鏡18にて反射した後のコリメート光C2によって形成されるコリメート像も、無限遠位置に置いた対象物の像と等価なものとして取り扱うことができる。
【0076】
このように構成された本実施形態の校正装置1の作用について、以下に説明する。まず、本実施形態の校正装置1による校正処理の基本的な考え方について、
図2,
図3を用いて説明する。
【0077】
図2,
図3は、カメラユニットを用いて無限遠位置に置いた対象物を撮像する際の様子と、そのとき取得される画像を模式的に示す概念図である。このうち、
図2は、カメラユニットによる通常撮像時の様子とそのときの取得画像(基準画像)を示している。また、
図3は、カメラユニットによるフロントガラス越しの撮像時の様子とそのときの取得画像(校正対象画像)を示している。ここで、
図2の通常撮像時とは、
図3のフロントガラス越しの撮像状況に対し、フロントガラスの存在しない状況での撮像を指す。
【0078】
図2,
図3の例示において、符号Objは撮像対象物を示している。なお、
図2,
図3の例示では、撮像対象物Objは、任意の物体形状(例えば車両など)にて示している。しかし、撮像対象物Objは、この例示の形態に限られることはない。撮像対象物Objは、例えば、予め規定された所定の図形パターン等からなるチャートであってもよい。
【0079】
撮像対象物Objは、カメラユニット30の2つのカメラ31の各撮像レンズ32に正対する位置であって、ほぼ無限遠位置に配置されているものとする。ここで、撮像対象物Objは不図示のコリメータによって形成されるコリメート像を想定している。
【0080】
したがって、このときのカメラユニット30の2つのカメラ31のそれぞれの光軸Oは、撮像対象物Objをコリメート像として形成するコリメート光Cと互いに平行となっている。
【0081】
つまり、撮像対象物Objとカメラユニット30の2つのカメラ31とが正対している状態とは、2つのカメラ31の撮像レンズ32の光軸Oと、撮像対象物Objからの光束(コリメート光C)とが一致する状態をいうものとしている。
【0082】
このように、
図2,
図3に示す例示においては、撮像対象物Obj(コリメート像)とカメラユニット30とを正対させた状態を想定している。したがって、このとき、撮像対象物Obj(コリメート像)は、カメラユニット30の各カメラ31の略中央領域に結像する。
この状況は、本実施形態の校正装置1において、コリメータ11をカメラユニット30に正対させた状態でコリメート光(符号C参照)を出射した状況に相当する。つまり、このとき、平面鏡18は用いずに、コリメータ像を各カメラ31の撮像面上に結像させる状況を例示するものである。
【0083】
このように、カメラユニット30に対して撮像対象物Objを正対させて配置した場合に、カメラユニット30の2つのカメラ31によって取得される2つの画像は、
図2の符号200L,200Rのようになる。ここで、符号200Lは、第1カメラ(左カメラ)31Lによって取得される左画像を指す。また、符号200Rは、第2カメラ(右カメラ)31Rによって取得される右画像を指す。
【0084】
この2つの画像200において、対象物の像(コリメート像)は、各画像の略中央部分に結像されている。ここで、
図2の符号d1(L)は、左画像200Lにおける対象物の像(コリメート像)の画像中心位置からの像ずれ量(想定結像座標)を示している。同様に、
図2の符号d1(R)は、右画像200Rにおける対象物の像(コリメート像)の画像中心位置からの像ずれ量(想定結像座標)を示している。
【0085】
ここで、各像ずれ量d1(L),d1(R)は、画像平面(即ち撮像面)のxy平面上において、x軸方向及びy軸方向への像ずれが生じる可能性がある。しかしながら、本実施形態においては、x軸方向の像ずれ量のみに着目して考えるものとしている。
【0086】
即ち、x軸方向の像ずれは視差情報の精度に影響する。このことは、距離測定の精度に影響が及ぶことになる。したがって、本実施形態においては、x軸方向の像ずれのみに着目し、後述するように、x軸方向の像ずれの校正及び補正することを目的としている。
【0087】
像ずれ量d1(L),d1(R)は、x軸上の座標で表すことができる(y軸上のずれは無視するものとする)。なお、この場合の像ずれ量の単位としては、画像を形成する画素(ピクセル)が適用される。
【0088】
ここで、この2つの画像200を重ね合わせると、
図2の符号200LRのようになる。
図2において符号d1は、左画像200Lの対象物の像と、右画像200Rの対象物の像との間に生じる像ずれ量を示している。
【0089】
ここで、像ずれ量d1は、左画像200Lにおける像ずれ量d1(L)と、右画像200Rにおける像ずれ量d1(R)との差として表すことができる。即ち、
d1=d1(L)-d1(R)
と表すことができる。この場合において、像ずれ量d1は、2つの画像200間に生じる視差である。
【0090】
一般に、カメラユニット30に正対させた撮像対象物Objを無限遠位置に配置して撮像する通常撮像時(このとき光軸Oとコリメート光Cは平行となっている)には、2つの画像200における像ずれ量(視差)d1は、基本的にはd1=0(ゼロ)となる。
【0091】
図2に示す通常撮像時の状況においては、カメラユニット30と撮像対象物Objとの間に、後述するフロントガラス等が存在していない状況としている。そこで、このような状況において取得される画像を基準画像(200L,200R)というものとする。そして、この基準画像200においては視差はゼロであるのが望ましい。
【0092】
一方、
図3に示す状況は、カメラユニット30を車両(不図示)に搭載して撮像を行う際の様子を示している。なお、
図3の例においても
図2の例と同様に、撮像対象物Objは、カメラユニット30の2つのカメラ31の各撮像レンズ32に正対する位置であって、ほぼ無限遠位置に配置されているものとする。そして、撮像対象物Objはコリメート像を想定している点も同様である。
【0093】
図3の符号100は、車両のフロントガラス等を示している。このフロントガラス等100は、カメラユニット30と撮像対象物Objとの間に存在するものと想定している。このような状況において取得される画像を校正対象画像というものとする。また、この校正対象画像は、校正対象とするカメラユニット30によって取得される実際の画像データに基づく画像であることから、これを実画像ともいう。
【0094】
図3に示すように、カメラユニット30と撮像対象物Objとを正対させて撮像するのに際し、カメラユニット30と撮像対象物Objとの間にフロントガラス等100等の光学部材が存在した場合には、撮像対象物Objの像に歪みが生じることがある。
【0095】
図3において、符号201L,201Rは、カメラユニット30の2つのカメラ31によって取得される2つの画像の例示である。ここで、符号201Lは、第1カメラ(左カメラ)31Lによって取得される左画像の実画像(左実画像)を指す。また、符号201Rは、第2カメラ(右カメラ)31Rによって取得される右画像の実画像(右実画像)を指す。
【0096】
この2つの実画像201において、対象物の像(コリメート像)は、各画像の略中央部分からずれた位置に結像されている。このことは、例えばフロントガラス等100が存在することに起因して形成される像に歪みが生じていることを示している。
【0097】
ここで、
図3の符号d0(L)は、左実画像201Lにおける対象物の像(コリメート像)の画像中心位置からの像ずれ量(実結像座標)を示している。同様に、
図3の符号d0(R)は、右画像200Rにおける対象物の像(コリメート像)の画像中心位置からの像ずれ量(実結像座標)を示している。
【0098】
そして、この2つの実画像201を重ね合わせると、
図3の符号201LRのようになる。
図3において符号d0は、左実画像201Lの対象物の像と、右実画像201Rの対象物の像との間に生じる像ずれ量を示している。
【0099】
ここで、
図3の像ずれ量d0は、左実画像201Lにおける像ずれ量d0(L)と、右実画像201Rにおける像ずれ量d0(R)との差として表すことができる。即ち、
d0=d0(L)-d0(R)
と表すことができる。この場合において、像ずれ量d0は、2つの画像201間に生じる視差である。
【0100】
しかしながら、この場合の像ずれ量d0には、上述したように、例えばフロントガラス等100によって形成される像歪みに起因する像ずれも含まれている。したがって、当該像ずれ量d0は、2つの画像201間に生じる視差を正確に示しておらず、この像ずれ量d0に基づいて、例えば対象物までの距離計測等の演算を行う場合、算出される計測結果は不正確なものとなってしまう。
【0101】
そこで、本実施形態の校正装置1においては、フロントガラス等100がカメラユニット30と撮像対象物Objとの間に存在することに起因して生じる像の歪みに起因する像ずれを計測(校正)し、所定の画像補正処理を行うようにしている。
【0102】
なお、上述したように、
図2,
図3においては、カメラユニット30と無限遠位置にある撮像対象物Objとを正対させて配置した場合を例に挙げて説明している。
【0103】
しかし、本実施形態の校正装置1においては、さらに、複数のコリメータ11のコリメート光C2をカメラユニット30の2つのカメラ31の各光軸Oに対して非平行に設定することで、2つのカメラ31によって取得される2つの画像の全範囲内の所望の位置に対してコリメート像を撮像させることができる。
【0104】
このような構成により、本実施形態の校正装置1を用いれば、カメラユニット30により取得される画像の全範囲において校正及び補正を行うことができるようになっている。
【0105】
次に、本実施形態の校正装置1の作用を、
図4,
図5を用いて以下に説明する。ここで、
図4は、本発明の一実施形態の校正装置を用いて行う校正処理のうち、校正対象画像(実画像)における像ずれ量を求める際の作用を説明する模式図である。
図5は、本発明の一実施形態の校正装置の作用の概略を示すフローチャートである。
【0106】
まず、本実施形態の校正装置1を、校正対象とするカメラユニット30が搭載された車両に対する所定の位置に設置する。このとき、カメラユニット30と校正装置1におけるコリメータユニット10との間には、例えば、フロントガラス等100等に相当する板状の光学部材が配置される。この状態で、本実施形態の校正装置1を用いた検査(校正処理及び補正処理)が実行される。
図4は、このときの各装置の様子を模式的に示している。
【0107】
図5のステップS1において、制御ユニット20は、コリメータ制御ユニット17を通してコリメータユニット10を制御して、各コリメータ11及び各平面鏡18の位置及び向きの調整をする。
【0108】
この調整は、各コリメータ11から出射する各コリメート光によるコリメート像を、校正対象とするカメラユニット30の各カメラ31の各撮像素子33の結像面の範囲内における所望の位置に結像させるための調整である。
【0109】
換言すると、この調整は、各コリメータ11のコリメート像を、カメラユニット30により取得される各画像の範囲内における所望の位置に撮像させるための調整である。
【0110】
この場合において、コリメート像を結像させる所望の位置に応じて、各コリメータ11及び各平面鏡18の調整を行う。例えば、コリメート像を結像させる所望の位置が、結像面の略中央領域である場合は、各コリメータ11のみの調整で足りる場合がある。また、コリメート像を結像させる所望の位置が、結像面の周辺寄りの領域である場合は、各コリメータ11の調整に加えて各平面鏡18の調整を行う。
【0111】
次に、ステップS2において、制御ユニット20は、カメラユニット30の2つのカメラ31によって取得される2つの実画像201(
図4参照)に基づいて、当該2つの実画像201上のコリメータ像のx軸上の実結像座標d0(L),d0(R)を推定する。
【0112】
なお、
図4の符号[Lx],[Rx]は、2つの実画像201上に撮像された2つのコリメート像を示している。このうち、符号[Lx]は、左実画像201L上に撮像された第1コリメータ11Lの第1コリメート像である。符号[Rx]は、右実画像201R上に撮像された第2コリメータ11Rの第2コリメート像である。
【0113】
また、
図4において、符号d0(L)は、第1コリメート像[Lx]のx軸上の実結像座標である。符号d0(R)は、第2コリメート像[Rx]のx軸上の実結像座標である。
【0114】
なお、
図4の符号d0は、左実画像201Lのコリメート像[Lx]と、右実画像201Rのコリメート像[Rx]との間に生じる像ずれ量を示している。
【0115】
この場合において、基本的には、第1コリメータ11Lに係る角度θ(L)と、第2コリメータ11Rに係る角度θ(R)とを等しい値に設定している。したがって、このとき、第1コリメータ11Lから出射し第2平面板18LBにて反射後のコリメート光C2と、第2コリメータ11Rから出射し第4平面板18RBにて反射後のコリメート光C2とは略平行となる。
【0116】
このように設定することにより、第1コリメータ11Lのコリメート像[Lx]のx軸上の実結像座標d0(L)と、第2コリメータ11Rのコリメート像[Rx]のx軸上の実結像座標d0(R)とは略等しい値となるのが理想である。しかしながら、実際にはフロントガラス等100に起因する歪みが生じていることによって、d0(L)≠d0(R)となり、両者間には、所定の像ずれ量d0が生じている。
【0117】
続いて、
図5のステップS3において、制御ユニット20は、実結像座標d0(L),d0(R)を比較して、両者が一致しているか否かの確認を行う。ここで、d0(L)=d0(R)であることが確認された場合は、ステップS5の処理に進む。また、d0(L)=d0(R)ではないことが確認された場合は、ステップS4の処理に進む。
【0118】
ステップS4において、制御ユニット20は、補正回路20bを通して2つの実画像201について、撮像されたコリメート像の幾何的な歪み補正や、位置合わせ等を含む所定の画像補正処理を実行する。この画像補正処理は、例えば実結像座標d0(L),d0(R)を一致させる補正処理である。この画像補正処理については、従来周知の各種補正処理を適用するものとして、その詳細説明は省略する。
【0119】
ステップS5において、制御ユニット20は、2つのカメラ31により取得される2つの実画像201の全範囲について、校正及び補正処理が完了したか否かの確認を行う。ここで、全範囲の校正及び補正処理が完了したことが確認されない場合は、上述のステップS1の処理に戻り、以降の処理を繰り返す。また、全範囲の校正及び補正処理が完了したことが確認された場合は、一連の処理を終了する(エンド)。
【0120】
以上説明したように上記一実施形態によれば、コリメータ11を適用することにより、対象物を無限遠位置に置いた場合と等価の対象物の像を得ることができる。この場合において、画像の主に周辺領域へコリメータ像を結像させるために平面鏡18を用いている。この構成によって、検査空間の省スペース化に寄与することができる。
【0121】
また、複数のコリメータ11のコリメート光C2と、校正対象とするカメラユニット30の光軸Oとを非平行となるように設定することで、カメラユニット30によって取得される画像の全範囲内の所望の位置に対してコリメート像を撮像させることができる。
【0122】
したがって、撮像範囲の全範囲内において、正確な校正(計測)を、省スペース空間で行うことができ、校正結果に基づく適切な画像補正処理を画像の全範囲内において行うことができる。したがって、本実施形態の校正装置1によれば、より高精度なカメラユニット30の校正処理及び補正処理を実現できる。
【0123】
本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施することができることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。この発明は、添付のクレームによって限定される以外にはそれの特定の実施態様によって制約されない。
【符号の説明】
【0124】
1…校正装置
10…コリメータユニット
11L…第1コリメータ
11R…第2コリメータ
12…光源
13…チャートボード
14…コリメータレンズ
15…コリメータ駆動装置
16…支柱ユニット
16a…鏡支持腕
17…コリメータ制御ユニット
18LA…第1平面鏡
18LB…第2平面鏡
18RA…第3平面鏡
18RB…第4平面鏡
19…鏡駆動装置
20…制御ユニット
20a…校正回路
20b…補正回路
30…カメラユニット
31L…左カメラ(第1カメラ)
31R…右カメラ(第2カメラ)
32…撮像レンズ
33…撮像素子
34…画像処理ユニット(IPU)
35…画像認識ユニット
100…フロントガラス等
200L…左画像
200R…右画像
201L…左実画像
201R…右実画像
C,C1,C2…コリメート光(の光軸)
O…撮像光学系の光軸
Obj…撮像対象物
R1…コリメータの回動方向
R2…平面鏡の揺動方向
d1…像ずれ量(基準画像)
d1(L),d1(R)…想定結像座標
d0…像ずれ量(校正対象画像,実画像)
d0(L),d0(R)…実結像座標