特開 2024-113618 カメラ校正装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024113618

(43)【公開日】2024-08-22

(54)【発明の名称】カメラ校正装置

(51)【国際特許分類】

   H04N 23/90 20230101AFI20240815BHJP

   G06T 7/80 20170101ALI20240815BHJP

   B60R 1/28 20220101ALI20240815BHJP

【ＦＩ】

H04N23/90

G06T7/80

B60R1/28

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023018758

(22)【出願日】2023-02-09

(71)【出願人】

【識別番号】000003551

【氏名又は名称】株式会社東海理化電機製作所

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】海野 和也

(72)【発明者】

【氏名】石沢 恒司

(72)【発明者】

【氏名】山田 貴洋

(72)【発明者】

【氏名】石塚 博基

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122DA14

5C122EA55

5C122EA67

5C122FA18

5C122GE24

5C122GE26

5L096AA09

5L096BA04

5L096CA05

5L096DA02

5L096FA05

5L096FA12

5L096FA64

5L096FA69

5L096JA11

(57)【要約】

【課題】周囲に大きなスペースを確保することなく車両に搭載されたカメラの校正作業を実施可能なカメラ校正装置を提供すること。
【解決手段】本開示のカメラ校正装置は、車両に搭載された第１のカメラ及び前記第１のカメラとは異なる位置に設置された第２のカメラを校正するものであって、前記第１のカメラの撮像領域内であって且つ前記第２のカメラの撮像領域外に配設された第１の校正パターンと、前記第２のカメラの撮像領域内であって且つ前記第１のカメラの撮像領域外に配設された第２の校正パターンと、前記第１の校正パターンと前記第２の校正パターンとが共に撮像可能な位置に配設された補助カメラと、前記第１のカメラ、前記第２のカメラ及び前記補助カメラの撮像画像に基づいて、第１のカメラ及び前記第２のカメラの位置を推定するカメラ位置推定装置と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両に搭載された第１のカメラ及び前記第１のカメラとは異なる位置に設置された第２のカメラを校正するカメラ校正装置であって、
前記第１のカメラの撮像領域内であって且つ前記第２のカメラの撮像領域外に配設された第１の校正パターンと、
前記第２のカメラの撮像領域内であって且つ前記第１のカメラの撮像領域外に配設された第２の校正パターンと、
前記第１の校正パターンと前記第２の校正パターンとが共に撮像可能な位置に配設された補助カメラと、
前記第１のカメラ、前記第２のカメラ及び前記補助カメラの撮像画像に基づいて第１のカメラ及び前記第２のカメラの位置を推定するカメラ位置推定装置と、を備える、
カメラ校正装置。

【請求項2】

前記第１のカメラ及び前記第２のカメラは、前記車両の後方に取り付けられた後方カメラと、前記車両の前方左右にそれぞれ取り付けられた側方カメラのいずれかで構成される、
請求項１に記載のカメラ校正装置。

【請求項3】

前記カメラ位置推定装置は、前記車両に接続可能なコンピュータで構成される、
請求項２に記載のカメラ校正装置。

【請求項4】

車両に搭載された第１のカメラ及び前記第１のカメラとは異なる位置に設置された第２のカメラを校正するカメラ校正装置であって、
前記第１のカメラの設置位置に配設された第１の校正パターンと、
前記第２のカメラの設置位置に配設された第２の校正パターンと、
前記第１の校正パターンと前記第２の校正パターンとが共に撮像可能な位置に配設された補助カメラと、
前記補助カメラの撮像画像に基づいて第１のカメラ及び前記第２のカメラの位置を推定するカメラ位置推定装置と、を備える、
カメラ校正装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、カメラ校正装置に関するものである。

【背景技術】

【0002】

自動車等の車両の周囲の状況をより詳細に運転者等に提供するために、車両の複数箇所にカメラを搭載し、車両の周囲を撮像することが従来から行われている。また、複数のカメラで撮像した撮像画像内の共通する領域を重ねるように合成して合成画像を作成し、表示することも行われている（例えば下記特許文献１、２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８－１８７５６６号公報

【特許文献2】特開２０１６－１８９５７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

複数のカメラが撮像した撮像画像を運転者等に提供するに際し、事前にカメラ同士の相対位置を正確に特定しておくことは、例えば画像を合成する際の位置ズレを抑制するためには重要である。したがって、車両に搭載されるカメラでは、例えば車両の製造時にカメラの校正作業が行われることが多い。例えば、上記特許文献１には、２つ以上のカメラに共通する撮影領域に校正パターンを配設し、各カメラで校正パターンを撮像することで各カメラの相対位置を特定する校正作業が記載されている。

【0005】

しかし、上記特許文献１に記載の校正手法では、例えば相対位置を特定したい２つのカメラ同士の撮像領域に共通する領域が小さい場合、当該共通する領域はカメラの画角の関係で車両から離れた位置となるため、校正パターンも車両から離れた位置に配置することとなる。このように、校正パターンを車両から離れた位置に配置するためには、車両の周囲に大きなスペースを確保する必要が生じるため、作業性等の観点で改善の余地がある。

【0006】

本開示は、上述した課題に鑑み、周囲に大きなスペースを確保することなく車両に搭載されたカメラの校正作業を実施可能なカメラ校正装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本開示の第１の態様に係るカメラ校正装置は、車両に搭載された第１のカメラ及び前記第１のカメラとは異なる位置に設置された第２のカメラを校正するカメラ校正装置であって、前記第１のカメラの撮像領域内であって且つ前記第２のカメラの撮像領域外に配設された第１の校正パターンと、前記第２のカメラの撮像領域内であって且つ前記第１のカメラの撮像領域外に配設された第２の校正パターンと、前記第１の校正パターンと前記第２の校正パターンとが共に撮像可能な位置に配設された補助カメラと、前記第１のカメラ、前記第２のカメラ及び前記補助カメラの撮像画像に基づいて第１のカメラ及び前記第２のカメラの位置を推定するカメラ位置推定装置と、を含む。

【0008】

上記のようなカメラ校正装置においては、第１及び第２の校正パターンの配置の自由度が高いため、車両の周囲に大きなスペースを確保する必要がない。

【0009】

本開示の第２の態様に係るカメラ校正装置は、上記本開示の第１の態様に係るカメラ校正装置において、前記第１のカメラ及び前記第２のカメラは、前記車両の後方に取り付けられた後方カメラと、前記車両の前方左右にそれぞれ取り付けられた側方カメラのいずれかで構成される。

【0010】

上記のようなカメラ校正装置においては、各カメラで撮像した画像を広視野角画像として合成する際、位置ズレが抑制された滑らかな画像が生成できるようになる。

【0011】

本開示の第３の態様に係るカメラ校正装置は、上記本開示の第２の態様に係るカメラ校正装置において、前記カメラ位置推定装置は、前記車両に接続可能なコンピュータで構成される。

【0012】

上記のようなカメラ校正装置においては、カメラ位置推定装置を車両とは別のコンピュータで構成でき、車両ＥＣＵ内に当該校正作業のための作業スペース等を確保する必要がなくなる。

【0013】

本開示の第４の態様に係るカメラ校正装置は、車両に搭載された第１のカメラ及び前記第１のカメラとは異なる位置に設置された第２のカメラを校正するカメラ校正装置であって、前記第１のカメラの設置位置に配設された第１の校正パターンと、前記第２のカメラの設置位置に配設された第２の校正パターンと、前記第１の校正パターンと前記第２の校正パターンとが共に撮像可能な位置に配設された補助カメラと、前記補助カメラの撮像画像に基づいて、第１のカメラ及び前記第２のカメラの位置を推定するカメラ位置推定装置と、を含む。

【0014】

上記のようなカメラ校正装置においては、第１及び第２の校正パターンがカメラの設置位置に配設されるため、構成パターンを設置するために車両の周囲に大きなスペースを確保する必要がない。

【発明の効果】

【0015】

本開示のカメラ校正装置によれば、周囲に大きなスペースを確保することなく車両に搭載されたカメラの校正作業を実施することができる。

【図面の簡単な説明】

【0016】

【図1】本開示の第１の実施の形態に係るカメラ校正装置の一例を示す概略図である。

【図2】校正パターンの一例を示した説明図である。

【図3】図１に示すカメラ校正装置のハードウェア構成を示す概略ブロック図である。

【図4】車両に搭載されたカメラで撮像した画像の一例を示した図であって、図４（Ａ)は後方カメラが撮像した画像を示したものであり、図４（Ｂ）は左側方カメラが撮像した画像を示したものである。

【図5】左補助カメラで撮像した画像の一例を示した図である。

【図6】本開示の第２の実施の形態に係るカメラ校正装置の一例を示す概略図である。

【発明を実施するための形態】

【0017】

以下、図面を参照して本開示を実施するための各実施の形態について説明する。なお、以下では本開示の目的を達成するための説明に必要な範囲を模式的に示し、本開示の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。また、図中の互いに同一又は相当する部材には同一あるいは類似の符号を付し、重複した説明は省略する。さらに、一の図面中に互いに同一又は相当する部材が複数個含まれている場合には、図を見易くするために、そのうちのいくつかにのみ符号を付している場合がある。

【0018】

図１は、本開示の第１の実施の形態に係るカメラ校正装置の一例を示す概略図である。本実施の形態に係るカメラ校正装置１は、車両２に搭載された複数のカメラのうちの第１及び第２のカメラを校正するための装置であってよい。本実施の形態において、カメラの校正（「キャリブレーション」ともいう）とは、各カメラが撮像した画像を合成するために、各カメラの相対位置を特定することをいう。なお、カメラの校正作業は、一般に、以降に説明する相対位置の特定作業のみならず、各カメラのレンズの歪みの特定作業等の種々の作業を含むが、ここでは各カメラの相対位置の特定作業を主に説明することとし、他の校正作業についてその説明を省略する。また、図１中の矢印ＦＲは車両２の前方側を示し、矢印Ｗは車両２の左右方向（あるいは幅方向）を示している。

【0019】

また、以下の説明では、図１に示すような乗用車の後方及び左右後方を撮像するカメラの校正作業について説明するが、校正作業を行う第１のカメラ及び第２のカメラは以下に例示するものに限定されない。例えば、上記特許文献１に記載のもののように、車両の全方位を撮像するカメラに適用することもできる。

【0020】

上述した第１及び第２のカメラは、異なる位置に設置されたカメラを指すものである。また、この第１及び第２のカメラとしては、車両２に搭載された複数のカメラのうち、その撮像領域が一部重複するものが選択されるとよい。具体的には、図１に示すように、例えば車両２の後方正面を撮像することでルームミラーとしても機能し得る後方カメラ１０と、車両の左右後方を撮像することでサイドミラー（ドアミラー）としても機能し得る左側方カメラ２０Ｌ及び右側方カメラ２０Ｒとのいずれか一方とすることができる。

【0021】

後方カメラ１０は、車両２の後方の適所、例えば車両２の幅方向の略中央部に取り付けられ、車両２の後方を撮像可能なカメラで構成することができる。この後方カメラ１０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子を用いた二次元カメラを用いることができる。また、後方カメラ１０は１台で構成されるものを例示するが、複数台で構成されていてもよい。

【0022】

左側方カメラ２０Ｌ及び右側方カメラ２０Ｒは、車両２の前方左右の側面、例えば前方ドアに設置されるサイドミラーに代えて、あるいはサイドミラーの近傍にそれぞれ取り付けられ、車両の左右後方を撮像可能なカメラで構成することができる。この左側方カメラ２０Ｌ及び右側方カメラ２０Ｒは、後方カメラ１０と同様に、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子を用いた二次元カメラを用いることができる。

【0023】

また、後方カメラ１０の撮像領域１１と、左側方カメラ２０Ｌ及び右側方カメラ２０Ｒのそれぞれの撮像領域２１Ｌ、２１Ｒとは、図１に示すように、撮像画像同士を合成するためにその一部が重複していてよい。このように、撮像領域が一部重複するカメラの相対位置を特定すると、撮像画像を合成した広視野画像を生成する際、画像同士の位置合わせ等を正確に行うことができるようになる。

【0024】

ここで、後方カメラ１０と左側方カメラ２０Ｌ又は右側方カメラ２０Ｒの一方、例えば左側方カメラ２０Ｌとの相対位置を特定したい場合、従来は以下のように当該相対位置を特定する方法がある。すなわち、後方カメラ１０の撮像領域１１と左側方カメラ２０Ｌの撮像領域２１Ｌとが重なる共通領域ＯＡに、図１に点線で示したパターン形状が既知の校正パターン４０を配置し、両カメラで当該校正パターン４０を撮像することで、位置関係を推定する方法がある。しかし、この方法では、共通領域ＯＡが車両２後方から離れた位置にしか形成されず、各カメラと校正パターン４０との距離が遠くなり、校正の精度低下の要因となり得る。加えて、例えば図１に示すように、車両２後方に近い位置に壁Ｗがあるような空間では共通領域ＯＡに校正パターン４０が設置できないため、校正作業を行うことができない。本実施の形態は、上述の点を考慮したカメラ校正装置１を提供しようとするものである。

【0025】

本実施の形態に係るカメラ校正装置１は、第１のカメラ、例えば後方カメラ１０の撮像領域内であって、且つ第２のカメラ、例えば左側方カメラ２０Ｌ又は右側方カメラ２０Ｒの撮像領域外に配設された第１の校正パターン４１と、第２のカメラとしての左側方カメラ２０Ｌ又は右側方カメラ２０Ｒの撮像領域内であって且つ第１のカメラとしての後方カメラ１０の撮像領域外に配設された第２の校正パターン４２と、第１の校正パターン４１と第２の校正パターン４２とが共に撮像可能な位置に配設された補助カメラ３０Ｌ、３０Ｒと、各カメラの撮像画像に基づいて、各カメラの相対位置を推定するカメラ位置推定装置５０と、を含む。

【0026】

図２は、校正パターンの一例を示した説明図である。第１及び第２の校正パターン４１、４２は、例えば任意の２次元パターンを組み合わせて構成することができる。また、当該２次元パターンは所定サイズの板体に印刷され、任意の位置に設置することができるものであってよい。上述した任意の２次元パターンとしては、図２に示すように、例えば黒色の正方形状の模様が複数個組み合わされた市松模様（あるいはチェッカーボード）状のパターンで構成することができる。正方形状の模様の一辺の長さは全て同一であり且つ既知であって、各正方形状の模様の各頂点Ｖの位置も既知である。なお、第１及び第２の校正パターン４１、４２は、上述のパターンに限定されるものではなく、また、第１及び第２の校正パターン４１、４２のパターン形状等が共通していてもよいし、異なっていてもよい。さらに、図２では、複数の頂点Ｖの一部にのみ符号を付している。

【0027】

図２に示すような校正パターンをカメラで撮像し、撮像画像内の校正パターンに含まれる頂点Ｖ等の特徴点の大きさや配置を特定すると、カメラと校正パターンとの相対位置を推定することができる。そして、共通する構成パターンを複数のカメラで撮像すれば、複数のカメラ同士の相対位置も推定することができる。なお、これらの相対位置の推定方法等については後述する。

【0028】

ここで、第１及び第２の校正パターン４１、４２は、後方カメラ１０、あるいは左側方カメラ２０Ｌ及び右側方カメラ２０Ｒのいずれか一方の撮像領域に含まれていればよい。したがって、第１及び第２の校正パターン４１、４２は、その配置の自由度が高く、例えば撮像されるカメラに近い位置に配置することができる。したがって、後述する校正作業に際しては撮像画像内に校正パターンを大きく映し出すことができ、位置推定の際の精度を向上させることができる。また、車両２の近くに校正パターンが配置できるため、車両２の周囲に校正作業のための大きなスペースを確保する必要がない。

【0029】

補助カメラ３０Ｌ、３０Ｒは、車両２外の任意の位置に設置され、後方カメラ１０等と同様に、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子を用いた二次元カメラで構成することができる。この補助カメラ３０Ｌ、３０Ｒは、その画角が固定されているものとする。本実施の形態に係る補助カメラ３０Ｌ、３０Ｒは、図１に示すように、車両２の側面後方から左右方向に所定距離離れた位置に１つずつ配置されているものとする。以下、これら２つの補助カメラを区別するために、車両２の左側に配置されたものを左補助カメラ３０Ｌとし、車両２の右側に配置されたものを右補助カメラ３０Ｒというものとする。

【0030】

上述の補助カメラ３０Ｌ、３０Ｒのそれぞれの撮像領域３１Ｌ、３１Ｒ内には、第１及び第２の校正パターン４１、４２がそれぞれ少なくとも１つずつ含まれる。なお、本実施の形態では、補助カメラとして、第１の校正パターン４１と第２の校正パターン４２とを１つずつ撮像領域に含むようにそれぞれ設置された２つの補助カメラ３０Ｌ、３０Ｒを例示しているが、補助カメラの数は１つであってもよい。その場合は、補助カメラの撮像領域内に第１の校正パターン４１と２つの第２の校正パターン４２とが含まれるようにするとよい。

【0031】

補助カメラ３０Ｌ、３０Ｒの配置は、図１のものに限定されない。また、補助カメラ３０Ｌ、３０Ｒに広角レンズを採用すれば、補助カメラ３０Ｌ、３０Ｒを、撮像対象となる第１及び第２の校正パターン４１、４２により近い位置に配置することができる。補助カメラ３０Ｌ、３０Ｒと撮像対象となる第１及び第２の校正パターン４１、４２とを近接させることにより、カメラの位置推定の際の精度を向上させることができる。また、校正パターン４１、４２の近くに補助カメラ３０Ｌ、３０Ｒが配置できるため、車両２の周囲に校正作業のための大きなスペースを確保する必要もない。

【0032】

カメラ位置推定装置５０は、各カメラで撮像された撮像画像に基づいて、校正対象となる第１及び第２のカメラの相対位置を推定するための装置である。このカメラ位置推定装置５０は、例えばマイクロコントローラを含む周知のコンピュータで構成することができる。また、カメラ位置推定装置５０を構成するコンピュータは、車両２とは別に準備されかつ車両２に接続可能なコンピュータで構成すると好ましい。なお、カメラ位置推定装置５０は、車両２内のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）の一部等を用いて実現することもできる。

【0033】

図３は、図１に示すカメラ校正装置のハードウェア構成を示す概略ブロック図である。このカメラ位置推定装置５０は、図３に示すように、少なくとも、プロセッサ５１と、メモリの一例としてのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５２及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５３と、ストレージ５４と、入出力インタフェース５５とを含んでいてよい。また、これらの構成は、内部バスを介して相互に通信可能に接続されていてよい。なお、カメラ位置推定装置５０を構成するコンピュータは、上述した構成に加えて、モニタやキーボード、タッチパネル等に代表されるユーザインタフェース等を含んでいてもよい。

【0034】

プロセッサ５１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成することができ、各種プログラムを実行したり、各部を制御したりすることができるものであってよい。具体的にいえば、このプロセッサ５１は、ＲＯＭ５２又はストレージ５４に格納されている種々のプログラムを読み出し、ＲＡＭ５３を作業領域として当該プログラムを実行することができるものであってよい。プロセッサ５１は、プログラムに従ってカメラ校正装置１を構成する各構成要素の制御や各種の演算処理を行うことができるものであってよい。

【0035】

ＲＯＭ５２は、各種プログラム及び各種データを格納することができるものであってよい。また、ＲＡＭ５３は、作業領域として一時的にプログラム又はデータを記憶することができるものであってよい。

【0036】

ストレージ５４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリといった記録媒体で構成することができる。このストレージ５４には、オペレーティングシステムを含む各種プログラムや、カメラ校正装置１を動作させるために必要な各種データ（例えば、第１及び第２の校正パターン４１、４２の頂点Ｖ間の距離に関する情報）が格納されていてよい。本実施の形態においては、ＲＯＭ５２又はストレージ５４には、各カメラで撮像された撮像画像に基づいてカメラの位置を推定するためのプログラムや各種データが格納され得る。

【0037】

入出力インタフェース５５は、上述した各カメラから撮像画像を取得し、各カメラの位置情報を車両２へ送信することが可能なものであってよい。具体的には、入出力インタフェース５５は、左補助カメラ３０Ｌと、右補助カメラ３０Ｒと、車両２内の車両ＥＣＵ３とに有線又は無線通信を介して接続され、相互にデータ通信が可能とされたものであってよい。車両ＥＣＵ３は、少なくとも後方カメラ１０、左側方カメラ２０Ｌ及び右側方カメラ２０Ｒを制御可能なものであってよく、より好ましくは、各カメラの撮像画像を合成した合成画像の生成をも可能なものであってよい。

【0038】

次に、上述の構成を含むカメラ校正装置１を用いた校正作業の一例を説明する。なお、以下には、校正を実施する第１及び第２のカメラが、後方カメラ１０と左側方カメラ２０Ｌである場合について説明する。なお、第１及び第２のカメラが他のカメラである場合、例えば後方カメラ１０と右側方カメラ２０Ｒである場合には、右補助カメラ３０Ｒの撮像画像を利用することで同様に校正作業を行うことができる。

【0039】

図４は、車両に搭載されたカメラで撮像した画像の一例を示した図であって、図４（Ａ)は後方カメラが撮像した画像を示したものであり、図４（Ｂ）は左側方カメラが撮像した画像を示したものである。また、図５は、左補助カメラで撮像した画像の一例を示した図である。カメラ校正装置１を用いて後方カメラ１０及び左側方カメラ２０Ｌの校正作業を開始すると、先ず、車両２を所定の作業スペースに停車させて、第１及び第２の校正パターン４１、４２を配置する。具体的には、後方カメラ１０の撮像領域１１内に第１の校正パターン４１を配置すると共に左側方カメラ２０Ｌの撮像領域２１Ｌ内に第２の校正パターン４２を配置する。このとき、第１の校正パターン４１は左側方カメラ２０Ｌの撮像領域２１Ｌ内には含まれず、第２の校正パターン４２は後方カメラ１０の撮像領域１１内には含まれない。

【0040】

次いで、後方カメラ１０及び左側方カメラ２０Ｌを動作させて、撮像画像１２、２２Ｌをそれぞれ取得する。後方カメラ１０の撮像画像１２内には、図４（Ａ）に示すように、その略中央部分に第１の校正パターン４１が映し出される。また、左側方カメラ２０Ｌの撮像画像２２Ｌ内には、図４（Ｂ）に示すように、その略中央部に第２の校正パターン４２が映し出される。

【0041】

次に、左補助カメラ３０Ｌを所定の位置、具体的には第１及び第２の校正パターン４１、４２の両方がその撮像領域３１Ｌに含まれる位置に配置する。そして、左補助カメラ３０Ｌを動作させて、撮像画像３２Ｌを取得する。このとき、左補助カメラ３０Ｌの撮像画像３２Ｌ内には、図５に示すように、第１及び第２の校正パターン４１、４２が共に映し出される。なお、上述した左補助カメラ３０Ｌの配置及び撮像動作は、第１及び第２の校正パターン４１、４２を配置した後であれば任意のタイミング、例えば、後方カメラ１０及び左側方カメラ２０Ｌによる撮像動作の前あるいは同時に実行することもできる。

【0042】

後方カメラ１０の撮像画像１２、左側方カメラ２０Ｌの撮像画像２２Ｌ及び左補助カメラ３０Ｌの撮像画像３２Ｌは、入出力インタフェース５５を介してカメラ位置推定装置５０に送られる。そして、カメラ位置推定装置５０にて、これらの撮像画像１２、２２Ｌ、３２Ｌに基づく各カメラの位置の推定が実施される。具体的には、先ず、後方カメラ１０の撮像画像１２と左補助カメラ３０Ｌの撮像画像３２Ｌに映し出された第１の校正パターン４１の各頂点Ｖの３次元座標を算出する。当該頂点Ｖの３次元座標は、撮像画像１２、３２Ｌに映し出された第１の校正パターン４１の各頂点Ｖの位置と、ストレージ５４に格納された第１の校正パターン４１の各頂点Ｖ間の既知の距離等とを比較することで算出することができる。そして、撮像画像１２内の第１の校正パターン４１の各頂点Ｖの３次元座標と、撮像画像３２Ｌ内の第１の校正パターン４１の各頂点Ｖの３次元座標とから、後方カメラ１０と左補助カメラ３０Ｌとの相対位置が推定できる。

【0043】

同様に、左側方カメラ２０Ｌの撮像画像２２Ｌと左補助カメラ３０Ｌの撮像画像３２Ｌに映し出された第２の校正パターン４２の各頂点Ｖの３次元座標を算出する。当該３次元座標は、撮像画像２２Ｌ、３２Ｌに映し出された第２の校正パターン４２の各頂点Ｖの位置と、ストレージ５４に格納された第２の校正パターン４２の各頂点Ｖ間の既知の距離等とを比較することで、算出することができる。そして、撮像画像２２Ｌ内の第２の校正パターン４２の各頂点Ｖの３次元座標と、撮像画像３２Ｌ内の第２の校正パターン４２の各頂点Ｖの３次元座標とから、左側方カメラ２０Ｌと左補助カメラ３０Ｌとの相対位置が推定できる。

【0044】

最後に、推定された後方カメラ１０と左補助カメラ３０Ｌとの相対位置、及び、左側方カメラ２０Ｌと左補助カメラ３０Ｌとの相対位置から、後方カメラ１０と左側方カメラ２０Ｌとの相対位置を推定する。これにより得られた推定位置は、例えば車両ＥＣＵ３に送られて、車両ＥＣＵ３において実施される画像合成の際に利用される。

【0045】

以上説明した通り、本実施の形態に係るカメラ校正装置１は、カメラの校正を行う際に２つのカメラの撮像領域の共通領域ＯＡに校正パターン４０を配置する必要がないため、車両２の周囲に大きなスペースを確保する必要がない。また、校正パターンを各カメラに近い位置に配置することができるため、校正パターン内の頂点を精度良く計測でき、相対位置の推定精度が高くなる。

【0046】

＜第２の実施の形態＞
上述した第１の実施の形態においては、校正作業を行うカメラの撮像領域内に校正パターンを配置したものを例示したが、本開示はこのような配置には限定されない。そこで以下には、本開示の第２の実施の形態に係るカメラ校正装置１Ａとして、上述したカメラ校正装置１とは異なる位置に第１及び第２の校正パターンを配置した場合について説明を行う。

【0047】

図６は、本開示の第２の実施の形態に係るカメラ校正装置の一例を示す概略図である。本実施の形態に係るカメラ校正装置１Ａは、図６に示すように、主に第１及び第２の校正パターン６１、６２の配置と、補助カメラ７０Ｌ、７０Ｒの向きが異なる点以外は上述した第１の実施の形態に係るカメラ校正装置１と同様である。そこで以下には、本実施の形態に係るカメラ校正装置１Ａのうち、第１の実施の形態に係るカメラ校正装置１と異なる構成部分を中心に説明し、第１の実施の形態に係るカメラ校正装置１と同様の構成については同一の符号を付してその説明を省略するものとする。

【0048】

本実施の形態に係るカメラ校正装置１Ａは、車両に搭載された第１及び第２のカメラを校正するためのものである。このカメラ校正装置１Ａは、少なくとも、第１のカメラ、例えば後方カメラ１０の設置位置に配設された第１の校正パターン６１と、第２のカメラ、例えば左側方カメラ２０Ｌ及び右側方カメラ２０Ｒの設置位置に配設された第２の校正パターン６２と、第１の校正パターン６１と第２の校正パターン６２とが共に撮像可能な位置に配設された補助カメラ７０Ｌ、７０Ｒと、補助カメラ７０Ｌ、７０Ｒの撮像画像に基づいて、第１のカメラ及び第２のカメラの位置を推定するカメラ位置推定装置８０と、を含むものである。

【0049】

第１及び第２の校正パターン６１、６２は、上述した第１の実施の形態の第１及び第２の校正パターン４１、４２と同様のパターンで構成することができる。この第１及び第２の校正パターン６１、６２は、車両に搭載されたカメラの設置位置に合わせて配置される。配置の具体的な方法や位置は特に限定されないが、好ましくは、第１及び第２の校正パターン６１、６２は、後方カメラ１０、左側方カメラ２０Ｌ及び右側方カメラ２０Ｒのレンズ表面を覆うように各カメラに一時的に取り付けられるものとするとよい。

【0050】

補助カメラ７０Ｌ、７０Ｒは、図６に示すように、車両２の左側に配置され第１の校正パターン６１と左側方カメラ２０Ｌに設置された第２の校正パターン６２とがその撮像領域７１Ｌ内に含まれる左補助カメラ７０Ｌと、車両の右側に配置され第１の校正パターン６１と右側方カメラ２０Ｒに設置された第２の校正パターン６２とがその撮像領域７１Ｒ内に含まれる右補助カメラ７０Ｒと、で構成することができる。補助カメラ７０Ｌ、７０Ｒの具体的な構成は、上述した第１の実施の形態の補助カメラ３０Ｌ、３０Ｒと同様のものであってよい。

【0051】

補助カメラ７０Ｌ、７０Ｒは、車両２外の任意の位置に設置されるが、その設置位置の座標は既知の情報としてカメラ位置推定装置８０内に記録されるとよい。当該補助カメラ７０Ｌ、７０Ｒの設置位置の情報は、本実施の形態に係るカメラ校正装置１Ａによるカメラ校正作業に用いられる。

【0052】

カメラ位置推定装置８０は、補助カメラ６０Ｌ、６０Ｒにデータ通信可能に接続されていればよく、校正作業の際に後方カメラ１０や左右の側方カメラ２０Ｌ、２０Ｒの撮像画像を利用しない点を除き、第１の実施の形態のカメラ位置推定装置５０と同様の構成を有していてよい。

【0053】

次に、上述の構成を含むカメラ校正装置１Ａを用いた校正作業の一例を説明する。なお、以下には、校正を実施する第１及び第２のカメラが、後方カメラ１０と左側方カメラ２０Ｌである場合について説明する。

【0054】

カメラ校正装置１Ａを用いた後方カメラ１０及び左側方カメラ２０Ｌの校正作業は、先ず、車両２を所定の作業スペースに停車させて、第１及び第２の校正パターン６１、６２を配置する。具体的には、後方カメラ１０のレンズを覆うように第１の校正パターン６１を配置すると共に、左側方カメラ２０Ｌのレンズを覆うように第２の校正パターン６２を配置する。

【0055】

次に、左補助カメラ７０Ｌを所定の位置、具体的には第１及び第２の校正パターン６１、６２の両方がその撮像領域７１Ｌに含まれる位置に配置する。そして、左補助カメラ７０Ｌを動作させて、撮像画像を取得する。このとき、左補助カメラ７０Ｌの撮像画像内には、第１及び第２の校正パターン６１、６２が共に映し出される。また、左補助カメラ７０Ｌは、第１及び第２の校正パターン６１、６２の両方がその撮像領域７１Ｌに含まれる位置であればその具体的な位置は限定されない。したがって、左補助カメラ７０Ｌを車両２に近い位置に設置すれば、校正作業のための車両２の周囲に大きなスペースを確保する必要がない。

【0056】

左補助カメラ７０Ｌの撮像画像は、カメラ位置推定装置８０に送られる。そして、カメラ位置推定装置８０にて、撮像画像に基づく各カメラの位置推定が実施される。具体的には、左補助カメラ７０Ｌの撮像画像に映し出された第１の校正パターン６１の各頂点Ｖの３次元座標と、第２の校正パターン６２の各頂点Ｖの３次元座標とを算出する。当該頂点Ｖの３次元座標は、撮像画像に映し出された第１及び第２の校正パターン６１、６２の各頂点Ｖの位置と、情報としてカメラ位置推定装置８０内に格納された第１及び第２の校正パターン６１、６２の各頂点Ｖ間の既知の距離等とを比較することで、算出することができる。そして、算出された第１及び第２の校正パターン６１、６２の各頂点Ｖの３次元座標と、情報としてカメラ位置推定装置８０内に格納された左補助カメラ７０Ｌの設置位置の座標とから、各校正パターン６１、６２の位置、すなわち後方カメラ１０と左側方カメラ２０Ｌの位置を推定する。

【0057】

以上説明した通り、本実施の形態に係るカメラ校正装置１Ａにおいては、第１及び第２のカメラの撮像領域を考慮して校正パターンを設置する必要がなく、且つ補助カメラを車両の近くに設置できるため、車両２の周囲に大きなスペースを確保する必要がない。また、校正パターンを補助カメラに近い位置に配置することができるため、校正パターン内の頂点を精度良く計測でき、相対位置の推定精度が高くなる。

【0058】

上記各実施の形態においては、ＣＰＵ等で構成されるプロセッサ５１がＲＯＭ５２あるいはストレージ５４に格納されたプログラムを読み込んで実行した処理を、プロセッサ５１以外の他のプロセッサが実行するようにしてもよい。この場合の他のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等を挙げることができる。また、カメラの校正プロセスを、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせで実行してもよく、例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等で実行してもよい。また、これらの各種のプロセッサのハードウェア構成は、半導体素子等の回路素子を組み合わせた電気回路であり得る。

【0059】

本開示は上述した実施の形態に限定されるものではなく、本開示の主旨を逸脱しない範囲内で種々変更して実施することが可能である。そして、それらはすべて、本開示の技術思想に含まれるものである。また、本開示において、各構成要素は、矛盾が生じない限りは１つのみ存在しても２つ以上存在してもよい。

【符号の説明】

【0060】

１、１Ａ カメラ校正装置
２ 車両
１０ 後方カメラ（第１のカメラの一例）
２０Ｌ 左側方カメラ（第２のカメラの一例）
２０Ｒ 右側方カメラ（第２のカメラの一例）
３０Ｌ、３０Ｒ、７０Ｌ、７０Ｒ 補助カメラ
４１、６１ 第１の校正パターン
４２、６２ 第２の校正パターン
５０、８０ カメラ位置推定装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】