特許 6983740 ステレオカメラシステム、及び測距方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6983740

(24)【登録日】2021年11月26日

(45)【発行日】2021年12月17日

(54)【発明の名称】ステレオカメラシステム、及び測距方法

(51)【国際特許分類】

   G01C 3/06 20060101AFI20211206BHJP

   G06T 7/593 20170101ALI20211206BHJP

【ＦＩ】

   G01C3/06 110V

   G01C3/06 140

   G06T7/593

【請求項の数】15

【全頁数】20

(21)【出願番号】特願2018-181674(P2018-181674)

(22)【出願日】2018年9月27日

(65)【公開番号】特開2020-51903(P2020-51903A)

(43)【公開日】2020年4月2日

【審査請求日】2020年10月19日

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000198

【氏名又は名称】特許業務法人湘洋内外特許事務所

(72)【発明者】

【氏名】石井 利樹

(72)【発明者】

【氏名】別井 圭一

(72)【発明者】

【氏名】島野 健

(72)【発明者】

【氏名】山口 啓太

【審査官】 信田 昌男

(56)【参考文献】

【文献】 特開２００６−０３３２８２（ＪＰ，Ａ）

【文献】 特開平１１−０３９５９６（ＪＰ，Ａ）

【文献】 特開２０１３−２０７３４４（ＪＰ，Ａ）

【文献】 特開２０１６−１７１５７５（ＪＰ，Ａ）

【文献】 特開２００６−３３０７３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ３／０６

Ｇ０６Ｔ ７／５９３

(57)【特許請求の範囲】

【請求項1】

自己の画角範囲に存在する物体を撮像するとともに、前記物体を測距する複数の測距カメラと、
前記測距カメラの対を仮想ステレオカメラとし、前記測距カメラの対のそれぞれによって撮像された画像に基づいて前記物体を測距する統合部と、を備え、
前記測距カメラは、解像度が異なる第１画像及び第２画像を同時に撮像するステレオカメラであり、
前記統合部は、前記測距カメラを成す前記ステレオカメラの対を前記仮想ステレオカメラとし、前記ステレオカメラの対のそれぞれによって撮像された、解像度が高い方の前記第１画像に基づいて前記物体を測距し、
前記仮想ステレオカメラは、前記測距カメラに比較して、所定の距離よりも遠くに存在する前記物体の測距精度が高い
ことを特徴とするステレオカメラシステム。

【請求項2】

請求項１に記載のステレオカメラシステムであって、
前記統合部は、
前記測距カメラの単体による測距結果、または前記仮想ステレオカメラによる測距結果のいずれを採用するかを判定する距離判定部を、
有する
ことを特徴とするステレオカメラシステム。

【請求項3】

自己の画角範囲に存在する物体を撮像するとともに、前記物体を測距する複数の測距カメラと、
前記測距カメラの対を仮想ステレオカメラとし、前記測距カメラの対のそれぞれによって撮像された画像に基づいて前記物体を測距する統合部と、を備え、
前記統合部は、
前記測距カメラの単体による測距結果、または前記仮想ステレオカメラによる測距結果のいずれを採用するかを判定する距離判定部を、有し、
正確な距離が分かっている物体の測距結果と前記正確な距離との差分に基づいて、前記仮想ステレオカメラの自己キャリブレーションを行い、
前記距離判定部は、
所定の距離を距離閾値とし、前記距離閾値よりも遠く存在する前記物体に対して、前記仮想ステレオカメラによる測距結果を採用すると判定し、前記距離閾値よりも近く存在する前記物体に対して、前記測距カメラの単体による測距結果を採用すると判定し、
前記自己キャリブレーションの結果に応じて、前記距離閾値を変更し、
前記仮想ステレオカメラは、前記測距カメラに比較して、前記所定の距離よりも遠くに存在する前記物体の測距精度が高い
ことを特徴とするステレオカメラシステム。

【請求項4】

請求項２または３に記載のステレオカメラシステムであって、
前記距離判定部は、前記仮想ステレオカメラのオクルージョン領域を少なくとも包含する領域に存在する物体に対して、前記測距カメラの単体による測距結果を採用すると判定する
ことを特徴とするステレオカメラシステム。

【請求項5】

請求項２に記載のステレオカメラシステムであって、
前記距離判定部は、前記所定の距離を距離閾値とし、前記距離閾値よりも遠く存在する前記物体に対して、前記仮想ステレオカメラによる測距結果を採用すると判定し、前記距離閾値よりも近く存在する前記物体に対して、前記測距カメラの単体による測距結果を採用すると判定する
ことを特徴とするステレオカメラシステム。

【請求項6】

請求項５に記載のステレオカメラシステムであって、
前記統合部は、正確な距離が分かっている物体の測距結果と前記正確な距離との差分に基づいて、前記仮想ステレオカメラの自己キャリブレーションを行い、
前記距離判定部は、前記自己キャリブレーションの結果に応じて、前記距離閾値を変更する
ことを特徴とするステレオカメラシステム。

【請求項7】

請求項２または３に記載のステレオカメラシステムであって、
前記距離判定部は、前記測距カメラの単体による測距結果、または前記仮想ステレオカメラによる測距結果の一方が得られない場合、他方を採用すると判定する
ことを特徴とするステレオカメラシステム。

【請求項8】

請求項１から７のいずれか一項に記載のステレオカメラシステムであって、
前記統合部は、前記測距カメラの対の一方によって撮像された、前記測距カメラの対の他方が写り込んだ画像と、前記測距カメラの対の前記他方に対する測距結果とに基づいて、前記仮想ステレオカメラの基線長とその傾きを決定する
ことを特徴とするステレオカメラシステム。

【請求項9】

請求項１に記載のステレオカメラシステムであって、
前記測距カメラを成す前記ステレオカメラの基線長は、前記仮想ステレオカメラの基線長よりも短い
ことを特徴とするステレオカメラシステム。

【請求項10】

請求項１に記載のステレオカメラシステムであって、
前記測距カメラを成す前記ステレオカメラの基線長と前記仮想ステレオカメラの基線長とは、方向が異なる
ことを特徴とするステレオカメラシステム。

【請求項11】

請求項１０に記載のステレオカメラシステムであって、
前記測距カメラを成す前記ステレオカメラの基線長と前記仮想ステレオカメラの基線長とは、方向が直交する
ことを特徴とするステレオカメラシステム。

【請求項12】

請求項１１に記載のステレオカメラシステムであって、
前記測距カメラを成す前記ステレオカメラの基線長は路面に対して垂直な方向であり、
前記仮想ステレオカメラの基線長は路面に対して水平な方向である
ことを特徴とするステレオカメラシステム。

【請求項13】

請求項１に記載のステレオカメラシステムであって、
前記測距カメラを成す前記ステレオカメラは、
中心軸を共通とし、頂点を対向して上下に配置された第１及び第２の凸双曲面ミラーと、
前記第１の凸双曲面ミラーの頂点部分に設けた開口に配置された結像光学系と、
被写体の光が前記第１の凸双曲面ミラーで反射された後、さらに、前記第２の凸双曲面ミラーで反射されてから前記結像光学系を介して入射する光、及び前記被写体の光が前記第２の凸双曲面ミラーで反射されてから前記結像光学系を介して入射する光に基づいて、異なる２視点から前記被写体を撮像した場合にそれぞれ対応する２つの像が同時に写し出されている出力画像を生成するイメージセンサと、
を有する
ことを特徴とするステレオカメラシステム。

【請求項14】

ステレオカメラシステムの測距方法であって、
自己の画角範囲に存在する物体を撮像するとともに、前記物体を測距する測距カメラの対を仮想ステレオカメラとし、前記測距カメラの対のそれぞれによって撮像された画像に基づいて前記物体を測距する測距ステップを、含み、
前記測距カメラは、解像度が異なる第１画像及び第２画像を同時に撮像するステレオカメラであり、
前記測距ステップは、前記測距カメラを成す前記ステレオカメラの対を前記仮想ステレオカメラとし、前記ステレオカメラの対のそれぞれによって撮像された、解像度が高い方の前記第１画像に基づいて前記物体を測距し、
前記仮想ステレオカメラは、前記測距カメラに比較して、所定の距離よりも遠くに存在する前記物体の測距精度が高い
ことを特徴とする測距方法。

【請求項15】

ステレオカメラシステムの測距方法であって、
自己の画角範囲に存在する物体を撮像するとともに、前記物体を測距する測距カメラの対を仮想ステレオカメラとし、前記測距カメラの対のそれぞれによって撮像された画像に基づいて前記物体を測距する測距ステップと、
所定の距離を距離閾値とし、前記距離閾値よりも遠く存在する前記物体に対して、前記仮想ステレオカメラによる測距結果を採用すると判定し、前記距離閾値よりも近く存在する前記物体に対して、前記測距カメラの単体による測距結果を採用すると判定する判定ステップと、
正確な距離が分かっている物体の測距結果と前記正確な距離との差分に基づいて、前記仮想ステレオカメラの自己キャリブレーションを行い、前記自己キャリブレーションの結果に応じて、前記距離閾値を変更する変更ステップと、を含み、
前記仮想ステレオカメラは、前記測距カメラに比較して、前記所定の距離よりも遠くに存在する前記物体の測距精度が高い
ことを特徴とする測距方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ステレオカメラシステム、及び測距方法に関する。

【背景技術】

【0002】

自動車におけるユーザサポート機能として、自動運転、自動ブレーキ、自動追従等の開発、改良が進められている。これらのユーザサポート機能の実現には、自動車の周囲に存在する物体を検知する技術が共通して用いられており、特に、自動運転については、自動車の全周囲（周囲３６０°）の物体検知技術の確立が重要となる。

【0003】

自動車の全周囲の物体検知技術としては、レーザパルスの反射戻り時間から物体までの距離を検出するＬＩＤＡＲ(Laser Imaging Detection and Ranging)を用いる方法が知られている。

【0004】

また、ステレオカメラを用いて物体までの距離を測定する方法も知られており、例えば特許文献１には、車体に複数のステレオカメラを配置し、得られた複数の画像に基づいてステレオカメラのキャリブレーションを行う建設機械が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１４−２１５０３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ＬＩＤＡＲを用いる方法の場合、ＬＩＤＡＲだけでは画像を取得することができないので、検知した物体が何であるのかを認識するため、画像を撮影できるカメラを併用する必要がある。また、周囲に存在する自動車もＬＩＤＡＲを用いている場合、レーザ光が相互に干渉し合ってしまう可能性がある。

【0007】

特許文献１に記載の建設機械では、複数のステレオカメラはそれぞれの測距範囲を単体で測距しているに過ぎず、例えば、隣接するステレオカメラを組み合わせることによって、測距精度を向上させるような用途には用いられていない。

【0008】

本発明は、このような状況を鑑みてなされたものであって、物体の距離に応じて精度良く測距できるようにすることを目的とする。

【課題を解決するための手段】

【0009】

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明の一態様に係るステレオカメラシステムは、自己の画角範囲に存在する物体を撮像するとともに、前記物体を測距する複数の測距カメラと、前記測距カメラの対を仮想ステレオカメラとし、前記測距カメラの対のそれぞれによって撮像された画像に基づいて前記物体を測距する統合部と、を備え、前記仮想ステレオカメラは、前記測距カメラに比較して、所定の距離よりも遠くに存在する前記物体の測距精度が高いことを特徴とする。

【発明の効果】

【0010】

本発明によれば、物体の距離に応じて精度良く測距することが可能となる。

【0011】

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0012】

【図1】本発明に係る第１の実施形態であるステレオカメラシステムの構成例を示す図である。

【図2】ステレオカメラシステムの詳細な構成例を示すブロック図である。

【図3】測距カメラにおける第１撮像部と第２撮像部との位置関係の例を示す図である。

【図4】ステレオカメラと見做される２つの測距カメラの位置関係の例を示す図である。

【図5】ステレオカメラ及び測距カメラの単体の距離に対する測距精度を表す図である。

【図6】ステレオカメラ及び測距カメラの単体の距離に対する測距精度を表す図である。

【図7】ステレオカメラ及び測距カメラの単体の距離に対する測距精度を表す図である。

【図8】ステレオカメラシステムによる動作の一例を説明するフローチャートである。

【図9】本発明に係る第２の実施形態である車載ステレオカメラシステムの構成例を示す図である。

【図10】車載ステレオカメラシステムにおける各測距カメラの画角範囲を示す図である。

【図11】車載ステレオカメラシステムにおける各測距カメラの単体での測距結果を採用する範囲を示す図である。

【図12】測距カメラとして採用し得るステレオカメラの構成例を示す図である。

【図13】上側双曲面ミラーと外周側双曲面ミラーと内周側双曲面ミラーとの関係を示す断面図である。

【図14】各双曲面ミラーのパラメータの一例を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明に係る複数の実施形態を図面に基づいて説明する。なお、各実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

【0014】

＜本発明に係る第１の実施形態であるステレオカメラシステムの構成例＞
図１は、本発明に係る第１の実施形態であるステレオカメラシステム１の構成例を示している。ステレオカメラシステム１は、測距カメラ１０ａ，１０ｂ、及び統合部２０を備える。

【0015】

測距カメラ１０ａは、例えば、路面に対して垂直な方向（図面に対して垂直な方向）に配置された第１撮像部１１ａ（図２）及び第２撮像部１３ａ（図２）を有するステレオカメラから成る。測距カメラ１０ａは、画角範囲ＡＯＶａを撮像し、撮像結果として得られる画像を統合部２０に出力する。また、測距カメラ１０ａは、単体として、画角範囲ＡＯＶａに存在する物体を測距する（距離を測定する）機能を有し、測距結果を統合部２０に出力する。なお、測距カメラ１０ａは、ステレオカメラの他、例えば、ＴＯＦ(time of flight)カメラによって実現できる。

【0016】

同様に、測距カメラ１０ｂは、例えば、路面に対して垂直な方向に配置された第１撮像部１１ｂ（図２）及び第２撮像部１３ｂ（図２）を有するステレオカメラから成る。測距カメラ１０ｂは、画角範囲ＡＯＶｂを撮像し、撮像結果として得られる画像を統合部２０に出力する。また、測距カメラ１０ｂは、単体として、画角範囲ＡＯＶｂに存在する物体を測距する機能を有し、測距結果を統合部２０に出力する。なお、測距カメラ１０ｂは、例えば、ステレオカメラの他、ＴＯＦカメラによって実現できる。

【0017】

以下、測距カメラ１０ａ、１０ｂを個々に区別する必要が無い場合、単に測距カメラ１０と称する。

【0018】

統合部２０は、測距カメラ１０の対（測距カメラ１０ａ，１０ｂ）を１つのステレオカメラＳａｂと見做して物体を測距する。ステレオカメラＳａｂは、本発明の仮想ステレオカメラに相当する。

【0019】

すなわち、統合部２０は、測距カメラ１０ａと測距カメラ１０ｂのそれぞれで撮像された画像を取得し、取得した画像を用いたステレオマッチング処理により、測距カメラ１０ａの画角範囲ＡＯＶａと測距カメラ１０ｂの画角範囲ＡＯＶｂとが重複する重複領域Ｒａｂに存在している物体を測距する。当然ながら、ステレオカメラＳａｂは、重複領域Ｒａｂに存在しない物体を測距することはできない。

【0020】

ステレオカメラＳａｂは、その基線長Ｌ２（図４）が、測距カメラ１０の単体の基線長Ｌ１（図４）よりも長くなるので、所定の距離よりも遠くに存在する物体に対する測距精度を測距カメラ１０の単体よりも上げることができる。

【0021】

そこで、統合部２０は、ステレオカメラＳａｂの方が測距カメラ１０の単体よりも測距精度が高くなる境の所定の距離を距離閾値ＴＨＬとし、重複領域Ｒａｂに存在する物体のうち、測距カメラ１０から距離閾値ＴＨＬよりも遠くに存在する物体についてはステレオカメラＳａｂによる測距結果を採用し、距離閾値ＴＨＬよりも近い領域Ｒａ，Ｒｂに存在する物体については測距カメラ１０の単体による測距結果を採用する。また、統合部２０は、ステレオカメラＳａｂによって測距できない物体については、測距カメラ１０の単体での測距結果を採用する。

【0022】

さらに、統合部２０は、正確な距離が分かっている物体を測距することにより、正確な距離と測距結果との差分に基づいて、ステレオカメラＳａｂの自己キャリブレーションを実行する。

【0023】

なお、図１の場合は異なるが、測距カメラ１０ａの画角範囲ＡＯＶａに測距カメラ１０ｂを配置し、統合部２０が、測距カメラ１０ａによって撮像された、測距カメラ１０ｂが写り込んでいる画像に基づき、ステレオカメラＳａｂの基線長とその傾きを決定、補正するようにしてもよい。

【0024】

次に、図２は、ステレオカメラシステム１の詳細な構成例を示すブロック図である。なお、図２の構成例において、測距カメラ１０は、第１撮像部１１及び第２撮像部１３を有するステレオカメラである。

【0025】

測距カメラ１０は、第１撮像部１１、歪補正部１２、第２撮像部１３、歪補正部１４、及び距離算出部１５を有する。

【0026】

以下、測距カメラ１０ａの第１撮像部１１を、その符号にａを追加して第１撮像部１１ａと称する。その他の構成要素についても同様とする。また、測距カメラ１０ｂについても同様とする。

【0027】

第１撮像部１１は、例えば広角レンズや魚眼レンズ等から成る集光部３１（図３）と、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)等から成る高解像度イメージセンサ３２（図３）を有する。第１撮像部１１においては、集光部３１によって物体の光を高解像度イメージセンサ３２に集光し、高解像度イメージセンサ３２にて光電変換により第１画像を生成する。第１撮像部１１は、第１画像を歪補正部１２に出力する。歪補正部１２は、第１画像に生じている画像歪を補正して距離算出部１５に出力する。

【0028】

第２撮像部１３は、例えば広角レンズや魚眼レンズ等から成る集光部３３（図３）と、ＣＭＯＳ等から成る低解像度イメージセンサ３４（図３）を有する。第２撮像部１３においては、集光部３３によって物体の光を低解像度イメージセンサ３４に集光し、低解像度イメージセンサ３４にて光電変換により第２画像を生成する。第２撮像部１３は、第２画像を歪補正部１４に出力する。歪補正部１４は、第２画像に生じている画像歪を補正して距離算出部１５に出力する。

【0029】

図３は、測距カメラ１０における第１撮像部１１と第２撮像部１３との位置関係の例を示している。同図に示されるように、第１撮像部１１と第２撮像部１３とは、基線長Ｌ１（例えば、数ｃｍ）だけ路面に対して垂直な方向に離れて配置されている。第１撮像部１１と第２撮像部１３とは、路面に対して水平な方向の画角範囲が共通なので、オクルージョンの発生を抑止することができる。

【0030】

なお、第１撮像部１１の高解像度イメージセンサ３２と、第２撮像部１３の低解像度イメージセンサ３４とは解像度が異なる。したがって、高解像度イメージセンサ３２から得られる第１画像は、低解像度イメージセンサ３４から得られる第２画像よりも高解像度となる。なお、低解像度イメージセンサ３４は、高解像度イメージセンサ３２よりも価格が安いので、その分だけ生産コストを抑えることができる。ただし高解像度イメージセンサ３２と低解像度イメージセンサ３４との解像度を統一するようにしてもよい。

【0031】

図２に戻る。距離算出部１５は、画像歪を補正した第１画像及び第２画像に基づき、ステレオマッチング処理によって、第１画像と第２画像との両方に写っている物体までの距離を算出して距離判定部２３に出力する。

【0032】

測距カメラ１０ｂは、測距カメラ１０ａと同様に構成されているので、その説明は省略する。

【0033】

図４は、測距カメラ１０ａの第１撮像部１１ａ及び第２撮像部１３ａと、測距カメラ１０ｂの第１撮像部１１ｂ及び第２撮像部１３ｂとの位置関係の例を示している。

【0034】

ステレオカメラＳａｂを成す測距カメラ１０ａと測距カメラ１０ｂとは、路面に対して水平な方向に、例えば数ｍだけ離して配置される。したがって、ステレオカメラＳａｂの基線長Ｌ２も数ｍとなり、測距カメラ１０の単体での基線長Ｌ１よりも長くなる。よって、ステレオカメラＳａｂは、測距カメラ１０の単体に比較して、高い測距精度を実現することができる。

【0035】

図２に戻る。統合部２０は、例えば、ＣＰＵ(Central Processing Unit)、メモリ、通信Ｉ／Ｆ等から成り、画像取得部２１、距離算出部２２、及び距離判定部２３の各機能ブロックを実現する。

【0036】

画像取得部２１は、測距カメラ１０ａの歪補正部１２ａから高解像度の第１画像ａを取得し、測距カメラ１０ｂの歪補正部１２ｂから高解像度の第１画像ｂを取得して距離算出部２２に出力する。距離算出部２２は、２枚の第１画像ａ，ｂに基づき、ステレオマッチング処理によって、第１画像ａ，ｂの両方に写っている物体までの距離を算出して距離判定部２３に出力する。

【0037】

なお、画像取得部２１が、測距カメラ１０ａ，１０ｂから低解像度の第２画像ａ，ｂを取得し、距離算出部２２にて、第２画像ａ，ｂに基づき、物体までの距離を算出するようにしてもよい。ただし、高解像度の第１画像ａ，ｂを用いる方が、低解像度の第２画像ａ，ｂを用いる場合に比較して、より高い精度でステレオマッチング処理を行うことができるので、得られる測距結果もより高い精度を得ることができる。

【0038】

距離判定部２３は、測定結果が距離閾値ＴＨＬ（例えば、１０ｍ）未満であった物体については、測距カメラ１０の単体での測距結果を採用し、測定結果が距離閾値ＴＨＬ以上であった物体についてはステレオカメラＳａｂによる測距結果、すなわち、距離算出部２２による算出結果を採用すると判定する。また、距離判定部２３は、ステレオカメラＳａｂによって測距できない物体についても、測距カメラ１０の単体での測距結果を採用すると判定する。さらに、距離判定部２３は、何らかの原因（ステレオマッチングができない場合、故障の場合等）により、測距カメラ１０の単体及びステレオカメラＳａｂの一方が測距結果を得られず、他方が測距結果を得られた場合、他方の測距結果を採用すると判定する。そして、距離判定部２３は、判定結果に対応する測距結果を、所定の装置（不図示）等に出力する。

【0039】

なお、測距カメラ１０の単体とステレオカメラＳａｂとの両方によって測距できる重複領域Ｒａｂに存在する物体の距離については、測距カメラ１０の単体による測距結果とステレオカメラＳａｂによる測距結果とを用いた所定の演算値（例えば、重み付け平均値）を採用するようにしてもよい。

【0040】

該所定の装置に出力された物体の測距結果は、例えば、３Ｄ映像としてディスプレイに表示したり、ステレオカメラシステム１を搭載する自動車のＥＣＵ(Electronic Control Unit)に供給したり、所定のサーバに送信したりするようにしてもよい。

【0041】

次に、図５〜図７は、ステレオカメラＳａｂと、測距カメラ１０の単体とによる、物体までの距離に対する測距精度を表している。なお、各図の横軸は測距の対象となる物体までの実際の距離を示し、縦軸は測距精度を示している。ここで、測距精度とは、実際の距離に対する測距結果の誤差を百分率で示したものであり、各図においては、その値が小さいほど、測距精度が高いことを意味する。

【0042】

図５は、縦軸に平行な破線によって示す所定の距離（距離閾値ＴＨＬ）よりも近くに存在する物体については、ステレオカメラＳａｂではオクルージョンによって測距ができず、所定の距離よりも遠くに存在する物体については、ステレオカメラＳａｂの方が、測距カメラ１０の単体よりも測距精度が高い場合を示している。このような場合、所定の距離を距離閾値ＴＨＬとし、距離閾値ＴＨＬよりも近くに存在する物体については測距カメラ１０の単体による測距結果を採用し、距離閾値ＴＨＬよりも遠くに存在する物体についてはステレオカメラＳａｂによる測距結果を採用するようにする。

【0043】

図６は、縦軸に平行な破線によって示す所定の距離（距離閾値ＴＨＬ）よりも近くに存在する物体については、測距カメラ１０の単体の方がステレオカメラＳａｂよりも測距精度が高く、距離閾値ＴＨＬよりも遠くに存在する物体については、ステレオカメラＳａｂの方が測距カメラ１０の単体よりも測距精度が高い場合を示している。このような場合でも、所定の距離を距離閾値ＴＨＬとし、距離閾値ＴＨＬよりも近くに存在する物体については測距カメラ１０の単体による測距結果を採用し、距離閾値ＴＨＬよりも遠くに存在する物体についてはステレオカメラＳａｂによる測距結果を採用するようにする。

【0044】

図７は、統合部２０による自己キャリブレーション前後の測距精度を示している。自己キャリブレーション後においては、測距カメラ１０の単体による測距精度とステレオカメラＳａｂによる測距精度との優劣が逆転する縦軸に平行な破線によって示す所定の距離が変化するので、自己キャリブレーション後においては距離閾値ＴＨＬも変更するようにする。なお、同図においては、ステレオカメラＳａｂのみ自己キャリブレーションを行っているが、測距カメラ１０の単体として自己キャリブレーションを行うようにしてもよい。

【0045】

＜ステレオカメラシステム１の動作＞
次に、図８は、ステレオカメラシステム１による動作の一例を説明するフローチャートである。

【0046】

この動作は、例えばユーザからの所定の操作に応じて開始される。

【0047】

はじめに、測距カメラ１０ａ，１０ｂが、それぞれ単体として、自己の画角範囲に存在する物体を測距し、測距結果を統合部２０に出力する（ステップＳ１）。

【0048】

具体的には、測距カメラ１０ａでは、第１撮像部１１ａが画角範囲ＡＯＶａを撮像し、その結果得られる第１画像ａを歪補正部１２ａに出力し、歪補正部１２ａが第１画像ａに生じている画像歪を補正して距離算出部１５ａに出力する。これと同時に、第２撮像部１３ａが画角範囲ＡＯＶａを撮像し、その結果得られる第２画像ａを歪補正部１４ａに出力し、歪補正部１４ａが、第２画像ａに生じている画像歪を補正して距離算出部１５ａに出力する。さらに、距離算出部１５ａが、画像歪を補正した第１画像ａ及び第２画像ａに基づき、ステレオマッチング処理によって、第１画像ａと第２画像ａとの両方に写っている物体までの距離を算出して距離判定部２３に出力する。

【0049】

なお、測距カメラ１０ｂも、上述した測距カメラ１０ａと同様の動作を同時に実行するが、その説明は省略する。

【0050】

次に、統合部２０が、測距カメラ１０ａ，１０ｂを１つのステレオカメラＳａｂと見做して物体を測距する（ステップＳ２）。

【0051】

具体的には、統合部２０の画像取得部２１が、測距カメラ１０ａの歪補正部１２ａから高解像度の第１画像ａを、測距カメラ１０ｂの歪補正部１２ｂから高解像度の第１画像ｂを取得して距離算出部２２に出力する。そして、距離算出部２２が、画像歪を補正した高解像度の第１画像ａ，ｂに基づき、ステレオマッチング処理によって、第１画像ａ，ｂの両方に写っている、すなわち、重複領域Ｒａｂ（図１）に存在する物体までの距離を算出して距離判定部２３に出力する。

【0052】

次に、距離判定部２３が、測定結果が距離閾値ＴＨＬ以上であった物体についてはステレオカメラＳａｂによる測距結果を採用すると判定し、測定結果が距離閾値ＴＨＬ未満であった物体については測距カメラ１０ａまたは１０ｂが単体で算出した測距結果を採用すると判定する。そして、距離判定部２３が、判定結果に対応する測距結果を、所定の装置（不図示）等に出力する（ステップＳ３）。

【0053】

この後、処理はステップＳ１に戻り、例えば、動作終了を指示する操作がユーザから入力されるまで、ステップＳ１〜Ｓ３が繰り返し実行される。

【0054】

以上説明したように、ステレオカメラシステム１によれば、２つの測距カメラ１０の画角範囲に存在する物体をその距離に応じて精度良く測距することが可能となる。

【0055】

＜本発明に係る第２の実施形態である車載ステレオカメラシステムの構成例＞
次に、図９は、本発明に係る第２の実施形態である車載ステレオカメラシステム２の構成例を示している。なお、車載ステレオカメラシステム２の構成要素のうち、ステレオカメラシステム１（図２）の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。

【0056】

車載ステレオカメラシステム２は、自動車４０に搭載される。車載ステレオカメラシステム２は、自動車４０の全周囲に存在する物体を検知するためのものである。

【0057】

車載ステレオカメラシステム２は、測距カメラ１０ａ，１０ｂ，１０ｃ，１０ｄ、及び統合部２０ａｂ，２０ｂｃ，２０ｃｄ，２０ａｄを備える。

【0058】

測距カメラ１０ａ〜１０ｄは、自動車４０の四隅に配置される。すなわち、例えば、測距カメラ１０ａは自動車４０の右前隅に右前方向に向けて配置され、測距カメラ１０ｂは自動車４０の右後隅に右後方向に向けて配置され、測距カメラ１０ｃは自動車４０の左後隅に左後方向に向けて配置され、測距カメラ１０ｄは自動車４０の左前隅に左前方向に向けて配置される。ただし、測距カメラ１０ａ〜１０ｄの配置は上述した例に限るものではなく、例えば、ドアミラー等の車体から突出している部分に配置してもよい。

【0059】

統合部２０ａｂ，２０ｂｃ，２０ｃｄ，２０ａｄは、それぞれ統合部２０（図２）と同様に構成される。

【0060】

統合部２０ａｂは、測距カメラ１０ａ，１０ｂに接続されており、測距カメラ１０ａ，１０ｂそれぞれから単体としての測距結果を取得する。また、統合部２０ａｂは、測距カメラ１０ａ，１０ｂをステレオカメラＳａｂと見做して物体を測距する。そして、統合部２０ａｂは、測距カメラ１０ａ，１０ｂそれぞれの単体としての測距結果、またはステレオカメラＳａｂによる測距結果を走行制御ＥＣＵ５０に出力する。

【0061】

統合部２０ｂｃは、測距カメラ１０ｂ，１０ｃに接続されており、測距カメラ１０ｂ，１０ｃそれぞれから単体としての測距結果を取得する。また、統合部２０ｂｃは、測距カメラ１０ｂ，１０ｃをステレオカメラＳｂｃと見做して物体を測距する。そして、統合部２０ｂｃは、測距カメラ１０ｂ，１０ｃそれぞれの単体としての測距結果、またはステレオカメラＳｂｃによる測距結果を走行制御ＥＣＵ５０に出力する。

【0062】

統合部２０ｃｄは、測距カメラ１０ｃ，１０ｄに接続されており、測距カメラ１０ｃ，１０ｄそれぞれから単体としての測距結果を取得する。また、統合部２０ｃｄは、測距カメラ１０ｃ，１０ｄをステレオカメラＳｃｄと見做して物体を測距する。そして、統合部２０ｃｄは、測距カメラ１０ｃ，１０ｄそれぞれの単体としての測距結果、またはステレオカメラＳｃｄによる測距結果を走行制御ＥＣＵ５０に出力する。

【0063】

統合部２０ａｄは、測距カメラ１０ａ，１０ｄに接続されており、測距カメラ１０ａ，１０ｄそれぞれから単体としての測距結果を取得する。また、統合部２０ａｄは、測距カメラ１０ａ，１０ｄをステレオカメラＳａｄと見做して物体を測距する。そして、統合部２０ａｄは、測距カメラ１０ａ，１０ｄそれぞれの単体としての測距結果、またはステレオカメラＳａｄによる測距結果を走行制御ＥＣＵ５０に出力する。

【0064】

したがって、車載ステレオカメラシステム２においては、４台の測距カメラ１０によって４台のステレオカメラが実現されている。

【0065】

自動車４０が備える走行制御ＥＣＵ５０は、自動車４０における各種の機能を制御する。例えば、走行制御ＥＣＵ５０は、各統合部２０から入力される測距結果に基づき、全周囲に存在する物体を検出し、自動運転機能、自動ブレーキ機能、自動追従機能等を実現する。

【0066】

なお、統合部２０ａｂ，２０ｂｃ，２０ｃｄ，２０ａｄについては、接続される測距カメラ１０と一体的に形成してもよい。また、統合部２０ａｂ，２０ｂｃ，２０ｃｄ，２０ａｄによる動作を、走行制御ＥＣＵ５０に実行させるようにしてもよい。

【0067】

次に、図１０は、車載ステレオカメラシステム２における各測距カメラ１０の画角範囲を示している。

【0068】

なお、車載ステレオカメラシステム２における各測距カメラ１０は、ステレオカメラシステム１（図１）における各測距カメラ１０よりも画角が広く、例えば、２４０°程度の画角範囲を有する。

【0069】

自動車４０の右前隅に配置された測距カメラ１０ａに注目した場合、その画角範囲ＡＯＶａには、自動車４０の右後隅に配置された測距カメラ１０ｂの画角範囲ＡＯＶｂと重なり合う重複領域Ｒａｂと、自動車４０の左前隅に配置された測距カメラ１０ｄの画角範囲ＡＯＶｄと重なり合う重複領域Ｒａｄと、画角範囲ＡＯＶｂ及びＡＯＶｄが重複しないオクルージョン領域Ｂａとが生じている。

【0070】

重複領域Ｒａｂに存在する物体は、測距カメラ１０ａの単体によって測距でき、且つ、測距カメラ１０ａ，１０ｂから成るステレオカメラＳａｂによって測距できる。重複領域Ｒａｄに存在する物体は、測距カメラ１０ａの単体によって測距でき、且つ、測距カメラ１０ａ，１０ｄから成るステレオカメラＳａｄによって測距できる。オクルージョン領域Ｂａに存在する物体は、測距カメラ１０ａの単体によってのみ測距できる。したがって、総合部２０ａｂは、図１１に示すように、測距カメラ１０ａの単体による測距結果を採用する範囲Ｒａを定める距離閾値ＴＨＬを、測距カメラ１０ａからオクルージョン領域Ｂａの最遠距離よりも大きな値に設定すればよい。

【0071】

そして、統合部２０ａｂが、測定結果が距離閾値ＴＨＬ以上であった物体についてはステレオカメラＳａｂによる測距結果を採用すると判定し、測定結果が距離閾値ＴＨＬ未満であった物体については測距カメラ１０ａの単体による測距結果を採用すると判定し、判定結果に対応する測距結果を、走行制御ＥＣＵ５０に出力するようにすればよい。

【0072】

測距カメラ１０ｂ〜１０ｄに注目した場合については、上述した測距カメラ１０ａに注目した場合と同様であるので、その説明は省略する。

【0073】

以上説明したように、車載ステレオカメラシステム２によれば、自動車４０の全周囲に存在する物体を、その距離に応じて精度良く測距することが可能となる。

【0074】

＜測距カメラ１０の変形例＞
図１２は、測距カメラ１０として採用し得るステレオカメラ１０１の構成例を示している。

【0075】

ステレオカメラ１０１は、上側双曲面ミラー１０２、下側双曲面ミラー１０３、結像光学系１０４、イメージセンサ１０５、駆動制御部１１８、及び画像処理部１１９を備える。

【0076】

上側双曲面ミラー１０２、及び下側双曲面ミラー１０３は、凸状の双曲面を有するミラーである。上側双曲面ミラー１０２及び下側双曲面ミラー１０３は、中心軸を共通とし、それぞれの頂点が対向する向きで所定の間隔を空けて上下に配置されている。

【0077】

上側双曲面ミラー１０２は、頂点部分に開口１０６を有する。

【0078】

下側双曲面ミラー１０３は、中心軸を共通とし、曲率が異なる外周側双曲面ミラー１０７、及び内周側双曲面ミラー１０８からなる。外周側双曲面ミラー１０７と内周側双曲面ミラー１０８との境界には、多少の段差があってもよい。

【0079】

結像光学系１０４は、１枚以上のレンズから成り、開口１０６の中に配置される。結像光学系１０４は、下側双曲面ミラー１０３にて反射した光を収束してイメージセンサ１０５に入射させる。

【0080】

イメージセンサ１０５は、例えばＣＭＯＳから成り、駆動制御部１１８からの制御に従い、結像光学系１０４を介して入射された光に基づき、出力画像１１７を生成し駆動制御部１１８に出力する。

【0081】

駆動制御部１１８は、イメージセンサ１０５の駆動を制御する。また、駆動制御部１１８は、イメージセンサ１０５が出力する出力画像１１７を画像処理部１１９に供給する。画像処理部１１９は、供給された出力画像１１７に基づき、被写体１０９の３次元位置情報１２０を生成する。

【0082】

ここで、上側双曲面ミラー１０２、外周側双曲面ミラー１０７、及び内周側双曲面ミラー１０８をなす双曲面ミラーの一般的な性質について説明する。

【0083】

上側双曲面ミラー１０２、外周側双曲面ミラー１０７、及び内周側双曲面ミラー１０８それぞれの双曲面は、次式（１）によって表される２次曲面において、円錐定数κが−１よりも小さい場合に相当する。

【0084】

【数1】

【0085】

ここで、式（１）におけるｚ（ｒ）は光軸上の頂点を原点とする光軸方向の面のサグ量である。ｃは光軸上の曲率（軸上曲率）である。ｒは光軸からの半径座標である。

【0086】

一般に、双曲面は２つの焦点を有する。２つの焦点の座標は、面頂点を基準として次式（２）によって表される。

【0087】

【数2】

【0088】

なお、式（２）における±が＋である場合が双曲面の内側にある焦点の座標を表す。式（２）における±が−である場合が双曲面の外側にある焦点の座標を表す。以下、双曲面の内側にある焦点を第１焦点と称し、双曲面の外側にある焦点を第２焦点と称する。

【0089】

双曲面ミラーは、第１焦点に向かう光線を双曲面にて反射すると、その反射光を第２焦点に集光させる性質を有する。逆に、双曲面ミラーは、第２焦点から出射された光を第１焦点から出射されたかのように反射する性質を有する。

【0090】

次に、図１３は、上側双曲面ミラー１０２と外周側双曲面ミラー１０７と内周側双曲面ミラー１０８との関係を示す断面図である。

【0091】

上側双曲面ミラー１０２と外周側双曲面ミラー１０７と内周側双曲面ミラー１０８との関係は、上側双曲面ミラー１０２の第２焦点１０２２が、内周側双曲面ミラー１０８の第１焦点１０８１と略一致するようになされている。また、この一致点は、外周側双曲面ミラー１０７の第１焦点１０７１と略一致する必要はないが、近傍に位置するようになされている。

【0092】

さらに、外周側双曲面ミラー１０７の第２焦点１０７２が、内周側双曲面ミラー１０８の第２焦点１０８２と略一致するようになされている。この一致点には、結像光学系１０４が配置されている。この一致点は、上側双曲面ミラー１０２の第１焦点１０２１と略一致する必要はないが、近傍に位置するようになされている。

【0093】

これにより、図１２に示された測距カメラ１０においては、被写体１０９からの光１１０のうち、上側双曲面ミラー１０２の第１焦点（上側視点）１０２１に向かう光１１２は、上側双曲面ミラー１０２によって反射されて、上側双曲面ミラー１０２の第２焦点１０２２に集光される。

【0094】

上側双曲面ミラー１０２の第２焦点１０２２は、内周側双曲面ミラー１０８の第１焦点１０８１と略一致する。よって、上側双曲面ミラー１０２の第２焦点１０２２に集光される光は、内周側双曲面ミラー１０８の第１焦点１０８１に向かう光と見做せるので、この光は、内周側双曲面ミラー１０８によって再び反射されて、内周側双曲面ミラー１０８の第２焦点１０８２に集光される。

【0095】

一方、被写体１０９からの光１１０のうち、外周側双曲面ミラー１０７の第１焦点（下側視点）１０７１に向かう光１１４は、外周側双曲面ミラー１０７によって反射され、外周側双曲面ミラー１０７の第２焦点１０７２に向けて集光反射される。

【0096】

外周側双曲面ミラー１０７の第２焦点１０７２と内周側双曲面ミラー１０８の第２焦点１０８２は略一致し、この一致点には結像光学系１０４が配置されている。したがって、上側双曲面ミラー１０２によって反射され、さらに内周側双曲面ミラー１０８によって反射された反射光と、外周側双曲面ミラー１０７によって反射された反射光とは、結像光学系１０４によって同時にイメージセンサ１０５に入射される。これにより、イメージセンサ１０５は、内周側に上側視点（第１焦点）１０２１から見た被写体１０９の像１１５が写され、それと同時に外周側に下側視点（第１焦点）１０７１から見た被写体１０９の像１１６が写された出力画像１１７を生成することができる。

【0097】

このようにして得られた出力画像１１７は、駆動制御部１１８を介して画像処理部１１９に供給される。画像処理部１１９は、出力画像１１７を、像１１５が写されている内周領域と、像１１６が写されている外周領域とに分離し、それぞれに射影変換処理を行い、その結果得られる２枚の画像においてステレオマッチング処理を行い、被写体１０９の３次元位置情報１２０を生成する。

【0098】

生成された３次元位置情報１２０は、統合部２０（図１）に供給される。

【0099】

なお、上述したステレオカメラ１０１における一部の構成要素、例えば、駆動制御部１１８や画像処理部１１９については、ステレオカメラ１０１から独立させて、例えば、自動車４０の走行制御ＥＣＵ５０（図９）に実行させてもよい。

【0100】

＜上側双曲面ミラー１０２と外周側双曲面ミラー１０７と内周側双曲面ミラー１０８とのその他の関係＞
ステレオカメラ１０１においては、内周側双曲面ミラー１０８の円錐定数κの絶対値が、外周側双曲面ミラー１０７の円錐定数κの絶対値よりも大きくなる値に設定されている。これにより、出力画像１１７においては、上側視点１０２１から見た被写体１０９の像１１５と、下側視点１０７１から見た被写体１０９の像１１６との大きさが揃えられている。

【0101】

出力画像１１７における内周側の像１１５と外周側の像１１６とのサイズを揃えることにより、像１１５と像１１６の解像度を合わせることができ、ステレオマッチング処理の精度を上げることができる。

【0102】

また、ステレオカメラ１０１においては、上側双曲面ミラー１０２には、下側双曲面ミラー１０３よりも口径が大きい双曲面ミラーが採用されている。上側双曲面ミラー１０２の口径を下側双曲面ミラー１０３よりも大きくすることで、下側視点１０７１の上向き画角の光線を上側視点１０２１で受光でき、ステレオ視を行うことができる上下の画角範囲を最大限まで広く確保することが可能となる。

【0103】

なお、仮に、上側双曲面ミラー１０２と下側双曲面ミラー１０３との口径が略等しい場合、下側双曲面ミラー１０３は外周側双曲面ミラー１０７と内周側双曲面ミラー１０８とに分離されているため、下側視点１０７１の視野範囲は必然的に狭くなってしまうことになる。

【0104】

ところで、ステレオカメラ１０１は、口径が大きく結像光学系１０４含む上側双曲面ミラー１０２が上側に、口径が小さい方の下側双曲面ミラー１０３が下側に配置されている。この上下の位置関係は反対にしても実用上支障はない。

【0105】

しかしながら、ステレオカメラ１０１を自動車４０の四隅に配置する場合、ステレオ視できる画角範囲があまり広くないことが問題となる。特に完全自動運転のための周囲センシング用途にステレオカメラ１０１を用いるためには自動車近傍を撮影することが必須であり、下向きの画角範囲を確保することが必要である。

【0106】

ステレオカメラ１０１においては、上側視点１０２１に入射する下向き画角の光線が、下側視点１０７１に入射する画角範囲よりも広い範囲をカバーできるようにしている。これにより上側視点１０２１による単眼視にはなるが、自動車の近傍を撮影することが可能とすることができる。自動車の近傍の画像は、主に路面にひかれたセンタライン等の白線を検知するために必要となるが、白線は路面にひかれていることが既知であるため、単眼視でも距離を計測することが可能である。そのため、結像光学系１０４が配置されている大きい方の上側双曲面ミラー１０２を上側に配置することが有効となる。

【0107】

次に、図１４は、上側双曲面ミラー１０２、外周側双曲面ミラー１０７、及び内周側双曲面ミラー１０８に関する曲率半径ｒ、円錐定数κ、頂点位置、及び口径の一例を示している。

【0108】

同図の例では、上側双曲面ミラー１０２の曲率半径ｒは１５ｍｍ、円錐定数κは−３．１、頂点位置は０ｍｍ、口径は３４ｍｍ、外周側双曲面ミラー１０７の曲率半径ｒは−１７ｍｍ、円錐定数κは−２．９４、頂点位置は−１８．５０５６ｍｍ、口径は２５ｍｍ、内周側双曲面ミラー１０８の曲率半径ｒは−２２ｍｍ、円錐定数κは−１３０、頂点位置は−１８．５０８６ｍｍ、口径は９ｍｍとされている。ただし、図１４は、一例に過ぎず、ステレオカメラ１０１には、任意の上側双曲面ミラー１０２、外周側双曲面ミラー１０７、及び内周側双曲面ミラー１０８を採用することができる。

【0109】

以上、本発明に係る各実施形態について説明したが、本発明は、上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態の一例は、本発明を分かり易くするために詳細に説明したものであり、本発明は、ここで説明した全ての構成を備えるものに限定されない。また、ある実施形態の一例の構成の一部を他の一例の構成に置き換えることが可能である。また、ある実施形態の一例の構成に他の一例の構成を加えることも可能である。また、各実施形態の一例の構成の一部について、他の構成の追加・削除・置換をすることもできる。また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、図中の制御線や情報線は、説明上必要と考えられるものを示しており、全てを示しているとは限らない。ほとんど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0110】

１・・・ステレオカメラシステム、２・・・車載ステレオカメラシステム、１０・・・測距カメラ、１１・・・第１撮像部、１２・・・歪補正部、１３・・・第２撮像部、１４・・・歪補正部、１５・・・距離算出部、２０・・・統合部、２１・・・画像取得部、２２・・・距離算出部、２３・・・距離判定部２３、３１・・・集光部、３２・・・低解像度イメージセンサ、３３・・・集光部、３４・・・高解像度イメージセンサ、４０・・・自動車、５０・・・走行制御ＥＣＵ、１０１・・・ステレオカメラ、１０２・・・上側双曲面ミラー、１０３・・・下側双曲面ミラー、１０４・・・結像光学系、１０５・・・イメージセンサ、１０６・・・開口、１０７・・・外周側双曲面ミラー、１０８・・・内周側双曲面ミラー、１０９・・・被写体、１１６・・・像、１１７・・・出力画像、１１８・・・駆動制御部、１１９・・・画像処理部、１２０・・・３次元位置情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】