特許 6957162 測距装置及び移動体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6957162

(24)【登録日】2021年10月8日

(45)【発行日】2021年11月2日

(54)【発明の名称】測距装置及び移動体

(51)【国際特許分類】

   G01C 3/06 20060101AFI20211021BHJP

   G02B 7/34 20210101ALI20211021BHJP

   G03B 13/36 20210101ALI20211021BHJP

   H04N 5/225 20060101ALI20211021BHJP

   H04N 5/369 20110101ALI20211021BHJP

【ＦＩ】

   G01C3/06 110V

   G01C3/06 140

   G02B7/34

   G03B13/36

   H04N5/225 400

   H04N5/369

【請求項の数】6

【全頁数】19

(21)【出願番号】特願2017-32417(P2017-32417)

(22)【出願日】2017年2月23日

(65)【公開番号】特開2017-161512(P2017-161512A)

(43)【公開日】2017年9月14日

【審査請求日】2020年2月17日

(31)【優先権主張番号】特願2016-42699(P2016-42699)

(32)【優先日】2016年3月4日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】高木 章成

【審査官】 仲野 一秀

(56)【参考文献】

【文献】 特開２０１２−００８３７０（ＪＰ，Ａ）

【文献】 特開２０１３−０９７２８０（ＪＰ，Ａ）

【文献】 特表２００９−５２７００７（ＪＰ，Ａ）

【文献】 特開２００９−１９２６０５（ＪＰ，Ａ）

【文献】 特開２０１５−１９４７０６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ３／０６

Ｇ０２Ｂ ７／３４

Ｇ０３Ｂ １３／３６

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／３６９

(57)【特許請求の範囲】

【請求項1】

絞りを有する光学系及び複数の画素が配列された撮像素子を有する撮像装置と、前記複数の画素のそれぞれから出力される、視差を有する１対の光学像の画像信号に基づいて被写体の距離情報を取得する距離情報取得部とを備える測距装置であって、
前記絞りには、
第１及び第２の測距用光束を規定する第１絞り孔及び第２絞り孔と、
撮像用光束を規定する第３絞り孔とが設けられ、
前記複数の画素のそれぞれは、
前記第１の測距用光束を受光して前記１対の光学像の一方の画像信号を出力する第１光電変換部と、
前記第２の測距用光束を受光して前記１対の光学像の他方の画像信号を出力する第２光電変換部と、
前記撮像用光束を受光して被写体の光学像の画像信号を出力する第３光電変換部とを有し、
前記第３光電変換部は、前記視差の方向に関して、前記第１光電変換部及び前記第２光電変換部の間に挟まれることを特徴とする測距装置。

【請求項2】

前記第１絞り孔及び前記第２絞り孔は前記視差の方向に沿って並び、
前記第１絞り孔を通過した光束の前記視差の方向における入射角度分布の幅が前記第１光電変換部の前記視差の方向における入射角感度特性の半値幅よりも小さく、
前記第２絞り孔を通過した光束の前記視差の方向における入射角度分布の幅が前記第２光電変換部の前記視差の方向における入射角感度特性の半値幅よりも小さいことを特徴とする請求項１記載の測距装置。

【請求項3】

前記第１絞り孔及び前記第２絞り孔は前記視差の方向に沿って並び、
前記第１光電変換部を含む平面上における前記第１絞り孔の光学像の前記視差の方向における幅が、前記第１光電変換部の前記視差の方向における幅よりも小さく、
前記第２光電変換部を含む平面上における前記第２絞り孔の光学像の前記視差の方向における幅が、前記第２光電変換部の前記視差の方向における幅よりも小さいことを特徴とする請求項１記載の測距装置。

【請求項4】

前記第１光電変換部及び前記第２光電変換部は第１の形状を有し、
前記第３光電変換部は、前記第１の形状とは異なる第２の形状を有することを特徴とする請求項１乃至３のいずれか１項に記載の測距装置。

【請求項5】

前記第１絞り孔及び前記第２絞り孔は、前記視差の方向に関して互いに離間して配置され、且つ第３の形状を有し、
前記第３絞り孔は、前記絞りの略中央に配置され、且つ前記第３の形状とは異なる第４の形状を有することを特徴とする請求項１乃至４のいずれか１項に記載の測距装置。

【請求項6】

移動体であって、
測距装置と、
前記測距装置の測距結果に基づいて警報を発する警報装置とを備え、
前記測距装置は、
絞りを有する光学系及び複数の画素が配列された撮像素子を有する撮像装置と、
前記複数の画素のそれぞれから出力される、視差を有する１対の光学像の画像信号に基づいて被写体の距離情報を取得する距離情報取得部とを有し、
前記絞りには、
第１及び第２の測距用光束を規定する第１絞り孔及び第２絞り孔と、
撮像用光束を規定する第３絞り孔とが設けられ、
前記複数の画素のそれぞれは、
前記第１の測距用光束を受光して前記１対の光学像の一方の画像信号を出力する第１光電変換部と、
前記第２の測距用光束を受光して前記１対の光学像の他方の画像信号を出力する第２光電変換部と、
前記撮像用光束を受光して被写体の光学像の画像信号を出力する第３光電変換部とを有し、
前記第３光電変換部は、前記視差の方向に関して、前記第１光電変換部及び前記第２光電変換部の間に挟まれることを特徴とする移動体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像取得とともに高精度な測距が可能な測距装置及び移動体に関し、特に、撮像面位相差方式によって距離を測定する測距装置及び移動体に関する。

【背景技術】

【0002】

車両、ドローンやロボットを含む移動体において当該移動体の移動を支援するために、移動体の周辺物、例えば、障害物と移動体の距離を測定することが求められている。特に、衝突回避や他物体追従等の移動支援を行うためには障害物の画像を用いた認識処理も必要となることから、移動体では障害物との距離を測定するために撮像装置としてのカメラが多用されている。カメラにおいて、認識処理に用いる障害物（被写体）の画像だけでなく距離も取得する方法として撮像面位相差方式が知られている（例えば、特許文献１，２参照）。撮像面位相差方式では、カメラの光学系の射出瞳における異なる２つの領域（部分瞳）を通過した光束によって形成される一対の画像の視差を求め、当該視差から三角測量の原理に基づいて被写体までの距離を測定する。撮像面位相差方式を用いたカメラでは、例えば、撮像素子の各画素が２つの光電変換部（フォトダイオード）を有する。撮像面位相差方式では、２つの光電変換部に入射する光束によって形成される光学像が変換された電気信号（以下、「画像信号」という。）から一対の画像の視差を求める一方、２つの光電変換部から得られる画像信号を合算して被写体の画像を取得する。

【0003】

ところで、いわゆるスチルカメラやビデオカメラでは高画質の画像が求められる。画素における２つの光電変換部には対応する２つの部分瞳を通過する光束のそれぞれが入射する。そこで、高画質の画像を得るためには射出瞳における２つの部分瞳を大きくして２つの光電変換部から得られる画像信号を加算したときの画像が、射出瞳全体を通過した光束によって形成される画像と同じになるように設定する必要がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−１９０６２２号公報

【特許文献2】特開２００１−２１７９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、図１６に示すように、２つの部分瞳１６０，１６１を大きくすると、２つの部分瞳１６０，１６１の重心間距離である基線長が短くなり、２つの光電変換部から得られる画像信号１６２，１６３から求められる一対の画像の視差が小さくなる。その結果、視差から三角測量の原理に基づいて被写体までの距離を測定する撮像面位相差方式では、測定される距離の精度が低下するというおそれがある。

【0006】

本発明の目的は、画像取得とともに高精度な測距が可能な測距装置を提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明の測距装置は、絞りを有する光学系及び複数の画素が配列された撮像素子を有する撮像装置と、前記複数の画素のそれぞれから出力される、視差を有する１対の光学像の画像信号に基づいて被写体の距離情報を取得する距離情報取得部とを備える測距装置であって、前記絞りには、第１及び第２の測距用光束を規定する第１絞り孔及び第２絞り孔と、撮像用光束を規定する第３絞り孔とが設けられ、前記複数の画素のそれぞれは、前記第１の測距用光束を受光して前記１対の光学像の一方の画像信号を出力する第１光電変換部と、前記第２の測距用光束を受光して前記１対の光学像の他方の画像信号を出力する第２光電変換部と、前記撮像用光束を受光して被写体の光学像の画像信号を出力する第３光電変換部とを有し、前記第３光電変換部は、前記視差の方向に関して、前記第１光電変換部及び前記第２光電変換部の間に挟まれることを特徴とする。

【0008】

また、上記目的を達成するために、本発明の移動体は、測距装置と、前記測距装置の測距結果に基づいて警報を発する警報装置とを備え、前記測距装置は、絞りを有する光学系及び複数の画素が配列された撮像素子を有する撮像装置と、前記複数の画素のそれぞれから出力される、視差を有する１対の光学像の画像信号に基づいて被写体の距離情報を取得する距離情報取得部とを有し、前記絞りには、第１及び第２の測距用光束を規定する第１絞り孔及び第２絞り孔と、撮像用光束を規定する第３絞り孔とが設けられ、前記複数の画素のそれぞれは、前記第１の測距用光束を受光して前記１対の光学像の一方の画像信号を出力する第１光電変換部と、前記第２の測距用光束を受光して前記１対の光学像の他方の画像信号を出力する第２光電変換部と、前記撮像用光束を受光して被写体の光学像の画像信号を出力する第３光電変換部とを有し、前記第３光電変換部は、前記視差の方向に関して、前記第１光電変換部及び前記第２光電変換部の間に挟まれることを特徴とする。

【0009】

なお、本発明のその他の側面については、以下で説明する各実施の形態で明らかにする。

【発明の効果】

【0010】

本発明によれば、画像取得とともに高精度な測距が可能な測距装置を提供できる。

【図面の簡単な説明】

【0011】

【図1】本発明の第１の実施の形態に係る測距装置の構成を概略的に示すブロック図である。

【図2】図１における撮像素子の構成を概略的に示す正面図である。

【図3】撮像面位相差方式による距離測定の原理を説明するための図である。

【図4】本発明の第１の実施の形態における光学系の射出瞳を示す図である。

【図5】撮像兼測距用画素における各ＰＤの配置を説明するための図である。

【図6】光学系の射出瞳の変形例及び撮像兼測距用画素における各ＰＤの配置の変形例を説明するための図である。

【図7】本発明の第２の実施の形態おける測距用光束の絞りの様子を説明するための図である。

【図8】本発明の第２の実施の形態おける測距用光束の絞りの様子を説明するための図である。

【図9】本発明の第２の実施の形態に係る測距装置の構成を概略的に示すブロック図である。

【図10】絞り孔による測距用光束の入射角範囲の制限を説明するための図である。

【図11】絞り孔による測距用光束の入射角範囲の制限を説明するための図である。

【図12】図９における絞りを光軸方向から眺めた図である。

【図13】本実施の形態に係る移動体としての自動車における運転支援システムの構成を概略的に説明するための図である。

【図14】本実施の形態に係る移動体としての自動車における運転支援システムの構成を概略的に説明するための図である。

【図15】本実施の形態における運転支援システムの動作例としての衝突回避処理を示すフローチャートである。

【図16】光学系の射出瞳における各部分瞳及び基線長の関係を説明するための図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。なお、本実施の形態に記載されている構成要素はあくまで例示に過ぎず、本発明の範囲は本実施の形態に記載されている構成要素によって限定されることはない。

【0013】

まず、本発明の第１の実施の形態について説明する。図１は、本発明の第１の実施の形態に係る測距装置の構成を概略的に示すブロック図である。

【0014】

図１において、測距装置は、光学系１１及び多数の画素が配列された撮像素子１２を有するカメラ１０と、画像解析部１３と、距離情報取得部１４とを備える。光学系１１は光軸に沿って配列された、例えば、２枚のレンズ１１ａ，１１ｂを有し、被写体の光学像を撮像素子１２上に結像する。図２に示すように、撮像素子１２が有する多数の画素は複数の撮像用画素１２ａと、複数の測距用画素１２ｂ（第１画素，第２画素）とに区分される。なお、図２では煩雑さをなくすため、左上側の各画素の配列の態様を部分的に示すに留まり、撮像素子１２の全面における各画素の配列の態様は図示を省略する。各撮像用画素１２ａ及び各測距用画素１２ｂは各々１つの光電変換部としての光電変換素子、例えば、フォトダイオード（以下、「ＰＤ」という。）を有する。本実施の形態において、ＰＤは、シリコンや光吸収特性を有する薄膜で形成した光電変換膜等で構成される。複数の撮像用画素１２ａは光学系１１の射出瞳の部分的領域（射出瞳における異なる領域。以下、「部分瞳」という。）を通過する光束を各々が受光して被写体の光学像を形成する。また、複数の測距用画素１２ｂは各々が光学系１１の射出瞳における２つの異なる部分瞳を通過する光束のいずれかを受光する。撮像素子１２では、例えば、ベイヤー配列に従い、２行×２列の４画素のうち対角の２画素としてＧ（緑色）の分光感度を有する撮像用画素１２ａが配置され、他の２画素としてＲ（赤色）とＢ（青色）の分光感度を有する撮像用画素１２ａが１つずつ配置される。各撮像用画素１２ａが有する特定色の分光感度は、各撮像用画素１２ａが有する原色系のカラーフィルタによって付与される。また、撮像素子１２では、一部の２行×２列の画素において、対角の２つのＧの分光感度を有する撮像用画素１２ａをそのまま残し、ＲとＢの分光感度を有する撮像用画素１２ａが測距用画素１２ｂに置き換えられる。撮像素子１２では、一部の２行×２列の画素において対角の２つの測距用画素１２ｂが、２つの部分瞳を通過した光束をそれぞれ受光することによって一対の光学像を形成し、さらに各光学像を光電変換して画像信号（出力信号）を出力する。画像解析部１３は出力された画像信号に対して画像処理を施す。距離情報取得部１４は画像処理が施された画像信号から一対の光学像の視差を算出し、さらに、算出された視差に基づいて被写体までの距離を算出する。すなわち、測距装置は撮像面位相差方式によって被写体までの距離を測定する。なお、画像信号から視差を算出する際、必ずしも撮像素子１２から出力された画像信号に画像処理を施す必要はない。例えば、画像信号から直接視差を算出することができる場合、撮像素子１２は画像解析部１３を経由することなく距離情報取得部１４へ直接、画像信号を出力する。

【0015】

上述した撮像素子１２では、２つの測距用画素１２ｂが各部分瞳を通過した光束をそれぞれ受光して一対の光学像を形成したが、後述する１つの撮像兼測距用画素１２ｃが２つの部分瞳を通過した光束を受光して一対の光学像を形成してもよい。この場合、撮像兼測距用画素１２ｃは少なくとも２つＰＤを有し、２つのＰＤが２つの部分瞳を通過した光束をそれぞれ受光する。また、撮像兼測距用画素１２ｃは２つのＰＤが受光する２つの部分瞳を通過した光束を合成して被写体の光学像を形成する。したがって、撮像素子１２のほぼ全域において撮像兼測距用画素１２ｃを配置してもよい。なお、本実施の形態では、カメラ１０において光学系１１の各レンズ１１ａ，１１ｂは固定され、いわゆるオートフォーカス機能は省略されている。すなわち、カメラ１０では焦点が固定される。しかしながら、カメラ１０はオートフォーカス機能を備えていてもよく、この場合、距離情報取得部１４が算出した被写体までの距離に基づいてオートフォーカスが実行される。

【0016】

図３は、撮像面位相差方式による距離測定の原理を説明するための図である。具体的に、図３（Ａ）は一対をなす２つの測距用画素１２ｂがそれぞれ形成する光学像を用いて距離測定を行う場合を示す。図３（Ｂ）は図３（Ａ）における各画素を光軸方向から眺めた場合を示す。図３（Ｃ）は１つの撮像兼測距用画素１２ｃが形成する一対の光学像を用いて距離測定を行う場合を示す。なお、図３（Ａ）及び図３（Ｃ）では撮像用画素１２ａ、各測距用画素１２ｂや撮像兼測距用画素１２ｃが側方から眺めた状態で描画される。

【0017】

まず、図３（Ａ）において、光学系１１の射出瞳３０は、水平方向（図中の横方向，第１方向）（以下、「視差方向」という。）に関して射出瞳３０の両端近傍にそれぞれ位置する２つの部分瞳（以下、「測距用瞳」という。）３１，３２を有する。また、射出瞳３０は視差方向において各測距用瞳３１，３２に挟まれて射出瞳３０の略中央に位置する部分瞳（以下、「撮像用瞳」という。）３３を有する。測距用瞳３１，３２の各々からは測距用光束３４，３５（第１光束，第２の光束）が射出されて一対の測距用画素１２ｂの各々に入射する。また、撮像用瞳３３からは撮像用光束３６が射出されて撮像用画素１２ａに入射する。２つの測距用画素１２ｂはマイクロレンズ３７（第１マイクロレンズ，第２マイクロレンズ）と、該マイクロレンズ３７を介して射出瞳３０と対向するＰＤ３８（第１光電変換部，第２光電変換部）とを有する。さらに、２つの測距用画素１２ｂは、マイクロレンズ３７及びＰＤ３８の間に配置されてＰＤ３８を部分的にマイクロレンズ３７と対峙させる開口３９（第１開口，第２開口）を有する遮光膜４０（第１遮光膜，第２遮光膜）とを有する。図３（Ｂ）の左側の撮像用画素１２ｂの開口３９（第１開口）は、画素の中心上やマイクロレンズ３７の光軸上から視差方向（第１方向）に偏心して配置されている。また、図３（Ｂ）の右側の撮像用画素１２ｂの開口３９（第２開口）は、画素の中心上やマイクロレンズ３７の光軸上から視差方向（第１の方向と反対の第２方向）に偏心して配置されている。さらに、図３（Ｂ）の左側の撮像用画素１２ｂのＰＤ３８と、図３（Ｂ）の右側の撮像用画素１２ｂのＰＤ３８は、互いに入射角感度特性が異なる。なお、本特許請求の範囲及び本明細書において画素の中心とは、画素の重心のことであり、例えば、画素が長方形の場合には、２つの対角線の交点が画素の中心に相当する。撮像用画素１２ａはマイクロレンズ４１と、該マイクロレンズ４１を介して射出瞳３０と対向するＰＤ４２とを有する。さらに、撮像用画素１２ａはマイクロレンズ４１及びＰＤ４２の間に配置されてＰＤ４２を部分的にマイクロレンズ４１と対峙させる開口６５（第３開口）を有する遮光膜６６（第３遮光膜）を有する。撮像用画素１２ａの開口６５（第３開口）は、画素の中心上やマイクロレンズ４１の光軸上に配置されている。なお、撮像用画素１２ａのＰＤ４２は、２つの撮像用画素１２ｂのＰＤ３８と入射角感度特性が異なる。

【0018】

一対の測距用画素１２ｂでは、２つのマイクロレンズ３７が光学系１１の像面近傍に配置され、各マイクロレンズ３７は測距用光束３４、３５を２つの遮光膜４０（各開口３９）へ集光させる。光学系１１及び２つのマイクロレンズ３７は射出瞳３０及び２つの遮光膜４０（各開口３９）が光学的に共役になるように構成される。したがって、２つのマイクロレンズ３７によって２つの遮光膜４０のそれぞれの開口３９の形状が射出瞳３０における２つの測距用瞳３１，３２へ投影される。すなわち、２つの測距用瞳３１，３２の配置（位置、大きさ）は遮光膜４０のそれぞれの開口３９の位置、大きさによって実現される。また、撮像用画素１２ａでは、マイクロレンズ４１が光学系１１の像面近傍に配置され、光学系１１及びマイクロレンズ４１は射出瞳３０及び遮光膜６６（開口６５）が光学的に共役になるように構成される。したがって、マイクロレンズ４１によって開口６５の形状が射出瞳３０における撮像用瞳３３へ投影される。すなわち、撮像用瞳３３の配置（位置、大きさ）は遮光膜６６の開口６５の位置、大きさによって実現される。一対の測距用画素１２ｂの２つのＰＤ３８は、測距用瞳３１，３２をそれぞれ通過する測距用光束３４，３５によって各マイクロレンズ３７に形成される光学像が変換された画像信号を出力する。出力された画像信号に対して像ズレ検出演算処理（相関処理、位相差検出処理）等を施すことにより、一対の光学像の視差を算出する。さらに、当該視差から三角測量の原理に基づいてデフォーカス量や被写体までの距離を算出する（例えば、米国特許出願公開第２０１５／００９２９８８号明細書参照）。また、撮像用画素１２ａのＰＤ４２は、撮像用瞳３３を通過する撮像用光束３６によってマイクロレンズ４１に形成される光学像が変換された画像信号を出力し、当該画像信号から被写体の画像が形成される。なお、図３（Ａ）及図３（Ｂ）では遮光膜４０や遮光膜６６を設けたが、これらの遮光膜は省略してもよい。この場合、ＰＤ３８やＰＤ４２の位置、大きさを開口３９や開口６５の位置、大きさと同じにすることにより、上述した各測距用瞳３１，３２の配置や撮像用瞳３３の配置を実現することができる。

【0019】

また、図３（Ｃ）では、測距用瞳３１，３２の各々からは測距用光束３４，３５が射出されて撮像兼測距用画素１２ｃに入射する。撮像用瞳３３からは撮像用光束３６が射出されて同じ撮像兼測距用画素１２ｃに入射する。撮像兼測距用画素１２ｃはマイクロレンズ４３と、該マイクロレンズ４３を介して射出瞳３０と対向するＰＤ４４〜４６とを有する。撮像兼測距用画素１２ｃでは、マイクロレンズ４３が光学系１１の像面近傍に配置され、マイクロレンズ４３は測距用光束３４、３５を２つのＰＤ４４，４５へ集光させる。光学系１１及びマイクロレンズ４３は射出瞳３０及びＰＤ４４〜４６が光学的に共役になるように構成される。したがって、マイクロレンズ４３により、ＰＤ４４の形状が射出瞳３０における測距用瞳３１へ投影される。また、マイクロレンズ４３により、ＰＤ４５の形状が射出瞳３０における測距用瞳３２へ投影される。さらに、マイクロレンズ４３により、ＰＤ４６の形状が射出瞳３０における撮像用瞳３３へ投影される。すなわち、各測距用瞳３１，３２及び撮像用瞳３３の配置（位置、大きさ）はＰＤ４４〜４６の位置、大きさによって実現される。撮像兼測距用画素１２ｃのＰＤ４４，４５は、測距用瞳３１，３２をそれぞれ通過する測距用光束３４，３５によってマイクロレンズ４３に形成される光学像が変換された画像信号を出力する。ここでも、出力された画像信号に対して像ズレ検出演算処理（相関処理、位相差検出処理）等を施すことにより、一対の光学像の視差を算出する。さらに、当該視差から三角測量の原理に基づいてデフォーカス量や被写体までの距離を算出する。また、撮像兼測距用画素１２ｃのＰＤ４６は、撮像用瞳３３を通過する撮像用光束３６によってマイクロレンズ４３に形成される光学像が変換された画像信号を出力する。なお、ＰＤ４４〜４６は互いに入射角感度特性が異なる。

【0020】

図４は、本発明の第１の実施の形態における光学系の射出瞳を示す図である。なお、図中の横方向が視差方向に対応する。

【0021】

図４（Ａ）において、射出瞳３０は、当該射出瞳３０の中心（光学系１１の光軸）に関して視差方向に対称に位置し、且つ射出瞳３０の両端近傍にそれぞれ位置する２つの楕円状の測距用瞳３１，３２を有する。さらに、射出瞳３０は、視差方向において各測距用瞳３１，３２に挟まれて射出瞳３０の略中央に位置する正円状の撮像用瞳３３を有する。各測距用瞳３１，３２の視差方向に関する重心間距離Ｌの射出瞳３０の視差方向に関する長さである射出瞳幅Ｗに対する比は０．６以上且つ０．９以下である。また、各測距用瞳３１，３２の視差方向に関する長さである各測距用瞳幅Ｗａ，Ｗｂ（部分瞳幅）の射出瞳幅Ｗに対する比は０．１以上且つ０．４以下である。さらに、楕円状の各測距用瞳３１，３２は図中縦方向（視差方向と垂直な方向）に長辺を有する。各測距用瞳３１，３２の図中縦方向に関する長さである測距用瞳高さＨ（部分瞳高さ）の各測距用瞳幅Ｗａ，Ｗｂに対する比（以下、「アスペクト比」という。）は１以上であり、好ましくは２以上である。測距用瞳３１，３２の大きさや形状は上述した各測距用瞳幅Ｗａ，Ｗｂや測距用瞳高さＨに関する制約に従う限りにおいて任意であり、例えば、図４（Ｂ）に示すように、各測距用瞳３１，３２がやや小ぶりであってもよい。また、図４（Ｃ）に示すように、各測距用瞳３１，３２と、撮像用瞳３３とが同じ形状（正円状）を呈していてもよい。しかしながら、測距用瞳３１，３２の大きさは、測距用瞳３１，３２をそれぞれ通過する測距用光束３４，３５に基づく各画像信号の強度が正確な被写体の距離情報を取得することができる程度まで高くなる大きさであることを必要とする。

【0022】

本実施の形態によれば、各測距用瞳３１，３２の視差方向に関する重心間距離Ｌ（基線長）の射出瞳３０の射出瞳幅Ｗに対する比は０．６以上且つ０．９以下であるので、基線長を長くすることができる。その結果、撮像面位相差方式を用いて測定される被写体までの距離の精度を高くすることができる。また、各測距用瞳幅Ｗａ，Ｗｂの射出瞳幅Ｗに対する比は０．１以上且つ０．４以下であるので、射出瞳３０の視差方向に関して各測距用瞳３１，３２の配置の自由度を増すことができる。その結果、各測距用瞳３１，３２を射出瞳３０の視差方向に関する両端近傍に位置させることができ、もって、基線長を確実に長くすることができる。また、各測距用瞳幅Ｗａ，Ｗｂが小さすぎると、測距用光束３４，３５の光量が大幅に減り、得られる測距用の画像信号のＳ／Ｎ比が低下して測定される距離の精度が低下する。しかしながら、上述したように、各測距用瞳幅Ｗａ，Ｗｂの射出瞳幅Ｗに対する比は０．１以上であるため、測距用光束３４，３５の光量が大幅に減るのを防止することができる。また、各測距用瞳幅Ｗａ，Ｗｂが大きくなる、すなわち、各測距用瞳３１，３２が大きくなると基線長が短くなり、測定される距離の精度が低下する。しかしながら、上述したように、各測距用瞳幅Ｗａ，Ｗｂの射出瞳幅Ｗに対する比は０．４以下であるため、基線長が短くなるのを防止することができる。さらに、各測距用瞳３１，３２のアスペクト比は１以上であるので、各測距用瞳３１，３２を通過する測距用光束３４，３５の量を増加させることができる。これにより、測距用光束３４，３５によって形成される光学像から得られる画像信号のＳ／Ｎ比を高くすることができ、被写体の距離情報を高精度に求めることができる。また、射出瞳３０は、視差方向において各測距用瞳３１，３２に挟まれる撮像用瞳３３を有し、撮像用瞳３３を通過する撮像用光束３６によって形成される光学像が変換された画像信号から被写体の画像が形成される。これにより、射出瞳３０の全領域を通過する光束を用いた場合に比べ、絞りを小さくして被写体の焦点深度を深くすることができ、認識処理に適した被写体の画像を得ることができる。

【0023】

上述したように、２つの測距用瞳３１，３２の配置は２つの測距用画素１２ｂにおける２つの遮光膜４０のそれぞれの開口３９の位置、大きさによって実現される。また、撮像用瞳３３の配置は撮像用画素１２ａにおける遮光膜６６の開口６５の位置、大きさによって実現される。若しくは、２つの測距用瞳３１，３２及び撮像用瞳３３の配置は撮像兼測距用画素１２ｃにおけるＰＤ４４〜４６の位置、大きさによって実現される。したがって、撮像兼測距用画素１２ｃでは、図５（Ａ）に示すように、縦長の各測距用瞳３１，３２に対応するように２つのＰＤ４４，４５は図中縦方向（視差方向と垂直な方向）に長辺を有する矩形状を呈する。また、射出瞳３０の両端近傍にそれぞれ位置する２つの測距用瞳３１，３２に対応するように、２つのＰＤ４４，４５は視差方向に関して互いに離間して配置される。また、正円状の撮像用瞳３３に対応するようにＰＤ４６は正方形状を呈し、射出瞳３０の略中央に位置する撮像用瞳３３に対応するように、ＰＤ４６は撮像兼測距用画素１２ｃにおいて略中央に配置される。図５（Ａ）に示すように、一の撮像兼測距用画素１２ｃが２つのＰＤ４４，４５を有する場合、１つの撮像兼測距用画素１２ｃから一対の光学像の視差を算出するための画像信号が得られるため、当該画像信号を多く得ることができる。すなわち、画像信号の解像度を高くすることができる。これにより、形成される画像を高画質にすることができる。また、距離情報の解像度を高くすることができる。

【0024】

なお、撮像兼測距用画素１２ｃがＰＤ４４及びＰＤ４５のうち一方のみを有していてもよい。例えば、図５（Ｂ）に示すように、（図中下方の）一の撮像兼測距用画素１２ｃがＰＤ４４を有し、（図中上方の）他の撮像兼測距用画素１２ｃがＰＤ４５を有する。この場合、測距用瞳３１を通過する測距用光束３４が一の撮像兼測距用画素１２ｃのＰＤ４４によって受光され、当該ＰＤ４４は測距用光束３４よって形成される光学像が変換された画像信号を出力する。また、測距用瞳３２を通過する測距用光束３５が他の撮像兼測距用画素１２ｃのＰＤ４５によって受光され、当該ＰＤ４５は測距用光束３５よって形成される光学像が変換された画像信号を出力する。さらに、一の撮像兼測距用画素１２ｃのＰＤ４４及び他の撮像兼測距用画素１２ｃのＰＤ４５から出力された画像信号から一対の光学像の視差が算出される。図５（Ｂ）に示すように、撮像兼測距用画素１２ｃがＰＤ４４及びＰＤ４５のうち一方のみを有する場合、一つの撮像兼測距用画素１２ｃが有するＰＤの数を２つに減らすことができる。これにより、各ＰＤの配置に余裕ができ、もって、各ＰＤを大きくすることができる。その結果、各ＰＤの受光量を増加させて各ＰＤの感度を向上することができ、光量が十分でない環境においても、形成される画像を高画質にすることができ、さらに、距離の計算の精度を向上することができる。

【0025】

なお、本実施の形態では、射出瞳３０が図中横方向に配列された各測距用瞳３１，３２を有するが、さらに図中縦方向に配列された２つの測距用瞳を有していてもよい。例えば、図６（Ａ）に示すように、射出瞳３０は各測距用瞳３１，３２に加えて図中縦方向に配列された２つの楕円状の測距用瞳４７，４８を有する。２つの測距用瞳４７，４８は射出瞳３０の図中縦方向に関する両端近傍にそれぞれ位置する。これにより、図中横方向だけでなく図中縦方向における一対の光学像の視差を算出することができ、被写体における横線や斜め線までの距離の測定の精度を向上することができる。この場合、撮像兼測距用画素１２ｃは、図６（Ｂ）に示すように、楕円状の２つの測距用瞳４７，４８に対応するように図中横方向に長辺を有する矩形状を呈するＰＤ４９，５０を有する。また、射出瞳３０の図中縦方向に関する両端近傍にそれぞれ位置する２つの測距用瞳４７，４８に対応するように、２つのＰＤ４９，５０は図中縦方向に関して互いに離間して配置される。

【0026】

また、本実施の形態では、撮像用画素１２ａは原色系のカラーフィルタを有するが、当該カラーフィルタは原色系ではなく補色系であってもよい。補色系のカラーフィルタは透過させる光束の光量が原色系のカラーフィルタよりも多いため、ＰＤ４２の感度を向上させることができる。一方、測距用画素１２ｂではＰＤ３８が受光する光束は開口３９を通過する光束に限られ、撮像兼測距用画素１２ｃではＰＤ４４，４５の大きさは限定される。しかしながら、測距用画素１２ｂや撮像兼測距用画素１２ｃはカラーフィルタを有さない、若しくは補色系のカラーフィルタを有する。これにより、ＰＤ３８やＰＤ４４，４５が受光する光束の光量はさほど制限されない。したがって、ＰＤ３８やＰＤ４４，４５の感度が大幅に低下することがない。

【0027】

次に、本発明の第２の実施の形態について説明する。本発明の第２の実施の形態は、その構成、作用が上述した第１の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。

【0028】

測距装置を移動体、例えば、自動車やドローンに適用する場合、当該測距装置はより小型でより軽量であることが好ましく、これに伴い、カメラ１０にもより一層の小型化が求められる。このとき、撮像素子１２もより小型化され、撮像素子１２の各撮像用画素１２ａや各測距用画素１２ｂもより小型化される。ここで、測距用画素１２ｂが小型化し、例えば、当該画素の大きさ（画素サイズ）が可視光の波長の数倍程度となったとき、マイクロレンズ３７に入射した測距用光束３４，３５の回折による広がりが大きくなる。具体的には、図７（Ａ）に示すように、マイクロレンズ３７に入射した測距用光束３５が回折に起因して、画素サイズが大きくて回折がほぼ生じないときの測距用光束３５（図中の実線で示す光束参照）よりも広がる（図中の破線で示す光束参照）。これにより、開口３９を通過する光束の光量が低下し、ＰＤ３８が受光する測距用光束３５の受光量が低下してＰＤ３８の測距用光束３５に対する感度が低下する。その結果、画素サイズが大きくて回折がほぼ生じないときの理想状態の入射角感度特性（図中の実線で示す特性参照）に比べ測距用光束３５が回折して広がったときの入射角感度特性（図中の破線で示す特性参照）における感度の絶対値が小さくなる。そして、得られる画像信号のＳＮＲ（Ｓ／Ｎ比）が低下して測距精度が低下する。また、ＰＤ３８が受光する測距用光束３５を被写体の画像形成に用いる場合、形成される画像の画質が低下し、認識処理における認識精度が低下する。なお、入射角感度特性を示す図（グラフ）において、縦軸は感度を示し、横軸は入射角を示す。横軸における縦軸との交点の入射角は各光束の主光線入射角である。

【0029】

ＰＤ３８の測距用光束３５に対する感度を向上させるには、図７（Ｂ）に示すように、開口３９の幅Ｗｃを拡大して当該開口３９を通過する光束の光量を増加させるのが好ましい。しかしながら、開口３９の幅Ｗｃを拡大すると当該開口３９を通過可能な光束の入射角の範囲も広がる（図中の破線で示す光束参照）。その結果、理想状態の入射角感度特性（図中の実線で示す特性参照）に比べ開口３９の幅Ｗｃを拡大したときの入射角感度特性（図中の破線で示す特性参照）の入射角の範囲が広がるため、基線長が短くなり、測距精度が低下する。

【0030】

本実施の形態では、これに対応して、図７（Ｃ）に示すように、ＰＤ３８の感度を向上させるために開口３９の幅Ｗｃを拡大しつつ、入射角感度特性の入射角の範囲を限定する。すなわち、開口３９を通過する光束の入射角を限定するために測距用光束３５を絞って測距用光束３５の入射角度分布（の幅）を限定している（図中の実線で示す光束参照）。具体的には、絞り５１の絞り孔５２を用いて測距用光束３５の入射角範囲（光学系１１の像面における入射角度分布）を狭める。このとき、絞り孔５２を通過した測距用光束３５がマイクロレンズ３７によって回折しても、当該測距用光束３５は遮光膜４０上（第１遮光膜上）において幅Ｗｃが拡大された開口３９よりも広がることがない。その結果、ＰＤ３８は測距用光束３５を十分に受光することができる。同様の対応を行うことにより、ＰＤ３８は測距用光束３４も十分に受光することができる。以上より、入射角感度特性の感度の絶対値を高く維持しつつ、入射角感度特性の入射角の範囲を狭めることができ、測距精度が低下するのを防止することができる。

【0031】

また、撮像兼測距用画素１２ｃが小型化し、例えば、画素サイズが可視光の波長の数倍程度となったときも、マイクロレンズ４３に入射した測距用光束３４，３５の回折による広がりが大きくなる。具体的には、図８（Ａ）に示すように、マイクロレンズ４３に入射した測距用光束３５が回折に起因して、画素サイズが大きくて回折がほぼ生じないときの測距用光束３５（図中の実線で示す光束参照）よりも広がる（図中の破線で示す光束参照）。これにより、ＰＤ４５が受光する測距用光束３５の光量が低下し、ＰＤ４５の測距用光束３５に対する感度が低下する。その結果、画素サイズが大きくて回折がほぼ生じないときの理想状態の入射角感度特性（図中の実線で示す特性参照）に比べ測距用光束３５が回折して広がったときの入射角感度特性（図中の破線で示す特性参照）における感度の絶対値が小さくなる。そして、得られる画像信号のＳＮＲが低下して測距精度が低下する。また、ＰＤ４５が受光する測距用光束３５を被写体の画像形成に用いる場合、形成される画像の画質が低下し、認識処理における認識精度が低下する。

【0032】

ＰＤ４５の測距用光束３５に対する感度を向上させるには、図８（Ｂ）に示すように、ＰＤ４５の幅Ｗｄを拡大してＰＤ４５が受光する光束の光量を増加させるのが好ましい。しかしながら、ＰＤ４５の幅Ｗｄを拡大すると当該ＰＤ４５に入射可能な光束の入射角の範囲も広がる（図中の破線で示す光束参照）。その結果、理想状態の入射角感度特性（図中の実線で示す特性参照）に比べＰＤ４５の幅Ｗｄを拡大したときの入射角感度特性（図中の破線で示す特性参照）の入射角の範囲が広がるため、基線長が短くなり、測距精度が低下する。

【0033】

本実施の形態では、これに対応して、図８（Ｃ）に示すように、ＰＤ４５の感度を向上させるためにＰＤ４５の幅Ｗｄを拡大しつつ、入射角感度特性の入射角の範囲を限定する。すなわち、ＰＤ４５に入射する光束の入射角を限定するために測距用光束３５を絞って測距用光束３５の入射角度分布（の幅）を限定している（図中の実線で示す光束参照）。具体的には、絞り５１の絞り孔５２を用いて測距用光束３５の入射角範囲（光学系１１の像面における入射角度分布）を狭める。このとき、絞り孔５２を通過した測距用光束３５がマイクロレンズ３７によって回折しても、当該測距用光束３５はＰＤ４５を含む平面上において幅Ｗｄが拡大されたＰＤ４５よりも広がることがない。その結果、ＰＤ４５は測距用光束３５を十分に受光することができる。同様の対応を行うことにより、ＰＤ４４も測距用光束３４を十分に受光することができる。以上より、入射角感度特性の感度の絶対値を高く維持しつつ、入射角感度特性の入射角の範囲を狭めることができ、測距精度を高くすることができる。

【0034】

図９は、本発明の第２の実施の形態に係る測距装置の構成を概略的に示すブロック図である。図９において、測距装置は、光学系５３及び多数の画素が配列された撮像素子１２を有するカメラ１０と、画像解析部１３と、距離情報取得部１４とを備える。光学系５３は光軸に沿って配列された、例えば、２枚のレンズ１１ａ，１１ｂを有し、被写体の光学像を撮像素子１２上に結像する。また、光学系５３は２枚のレンズ１１ａ，１１ｂの間に配置された絞り５１を有する。絞り５１は２つの測距用瞳３１，３２に対応する２つの絞り孔５２を有する。撮像素子１２に測距用画素１２ｂが配列される場合、光学系５３及びマイクロレンズ３７は絞り５１の２つの絞り孔５２及び遮光膜４０（開口３９）が光学的に共役になるように構成される。また、撮像素子１２に撮像兼測距用画素１２ｃが配列される場合、光学系５３及びマイクロレンズ４３は絞り５１の２つの絞り孔５２及びＰＤ４４，４５が光学的に共役になるように構成される。

【0035】

上述したように、２つの絞り孔５２は測距用瞳３１，３２を通過する測距用光束３４，３５を規定する。例えば、図１０に示すように、各絞り孔５２は各測距用光束３４，３５の入射角範囲を規定することにより、入射角の範囲が限定された入射角感度特性（以下、「限定入射角感度特性」という。）（図中の実線で示す特性参照）を実現する。このとき、幅Ｗｃが拡大された開口３９や幅Ｗｄが拡大されたＰＤ４４，４５の入射角感度特性（以下、「幅拡大時の入射角感度特性」という。）（図中の破線で示す特性参照）の半値幅をＷｅとする。半値幅Ｗｅは幅拡大時の入射角感度特性において感度が最大感度Ｈａの半分の感度Ｈｂとなるときの入射角範囲である。また、限定入射角感度特性の半値幅をＷｆとする。半値幅Ｗｆは限定入射角感度特性において感度が最大感度Ｈａの半分の感度Ｈｂとなるときの入射角範囲である。本実施の形態では、限定入射角感度特性の半値幅Ｗｆが幅拡大時の入射角感度特性の半値幅Ｗｅよりも小さくなるように、各絞り孔５２の大きさ（視差方向の幅）が規定される。具体的には、撮像素子１２に撮像兼測距用画素１２ｃが配列される場合、図１１に示すように、各絞り孔５２の視差方向（図中横方向）の幅をＷｇとする。このとき、幅Ｗｇは、幅拡大時の入射角感度特性の半値幅Ｗｅに対応する入射角の光束（図中の破線で示す光束参照）の絞り５１における視差方向の幅Ｗｈよりも小さくなるように規定される。また、２つの絞り孔５２は、測距用光束３４，３５が同じ偏光状態であり且つ同じ波長を持つように、大きさや形状、位置が規定されている。

【0036】

図１２は、図９における絞りを光軸方向から眺めた図である。図１２（Ａ）において、円板状の絞り５１は視差方向（図中横方向）に関して直径上に互いに離間して配置される２つの絞り孔５２（第１絞り孔、第２絞り孔）を有する。２つの絞り孔５２の位置、大きさや形状は各測距用瞳３１，３２の位置、大きさや形状を実現するように設定される。なお、図１２（Ａ）に示すように、絞り５１が２つの絞り孔５２のみしか有しない場合、撮像用光束３６は生じない。したがって、測距用光束３４，３５は被写体までの距離の測定だけでなく、被写体の画像の形成にも用いられる。図１２（Ｂ）に示すように、絞り５１が２つの絞り孔５２だけでなく、略中央に他の絞り孔５４（第３絞り孔）を有してもよい。この場合、他の絞り孔５４の位置、大きさや形状は撮像用瞳３３の位置、大きさや形状を実現するように設定される。また、各絞り孔５２の形状は特に限定されないが、図１２（Ｃ）に示すように、縦長、すなわち、各絞り孔５２の視差方向と垂直な方向（図中縦方向）に関する長さの視差方向に関する長さに対する比が１以上であってもよい。この場合、各測距用瞳３１，３２のアスペクト比を１以上にすることができ、もって、各測距用瞳３１，３２を通過する測距用光束３４，３５の量を増加させ、測距用光束３４，３５から得られる画像信号の強度を高くすることができる。さらに、図１２（Ｄ）に示すように、絞り５１は、他の絞り孔５４の開口を調整するための絞り機構５５を有してもよい。絞り機構５５は２枚の遮蔽羽５６からなり、各遮蔽羽５６は図中縦方向にスライド可能に構成される。これにより、撮像用瞳３３を通過する撮像用光束３６を絞ることができ、もって、被写体の焦点深度を深くすることができ、高画質な被写体の画像を容易に得ることができる。また、図１２（Ｅ）に示すように、絞り５１は、絞り孔５２の開口を調整するための絞り機構５７を有してもよい。各絞り機構５７は２枚の遮蔽羽５８からなり、各遮蔽羽５８は図中縦方向にスライド可能に構成される。これにより、各測距用瞳３１，３２を通過する測距用光束３４，３５の光量を自在に調整することができる。

【0037】

なお、本実施の形態では、絞り（開口絞り）５１の開口を「絞り孔５２」と表現しているが、絞り５１の開口は必ずしも貫通孔でなくてよい。つまり、絞りは、透明なガラス板上に遮光膜を形成したものであってもよいし、液晶シャッタでもよいし、エレクトロクロミックデバイスでもよい。また、本実施の形態では、絞り５１として透過型の開口絞りを例示しているが、代わりに、反射型の開口絞りを用いても良い。この場合、ミラー上の絞り孔以外の部分を光吸収材料で覆った部材を用いても良いし、光を反射しない板（金属板等）上の絞り孔の部分だけをミラーで覆った部材を用いても良い。本特許請求の範囲及び本明細書では、反射型の開口絞りの絞り孔に相当する部分（透明なガラス、ミラー）も、「絞り孔」と呼ぶ。

【0038】

次に、本発明の第３の実施の形態について説明する。本発明の第３の実施の形態は、上述した第１の実施の形態及び第２の実施の形態に係る測距装置を移動体としての自動車に適用したものである。

【0039】

図１３及び図１４は、本実施の形態に係る移動体としての自動車における運転支援システムの構成を概略的に説明するための図である。

【0040】

図１３及び図１４において、車両５９は、カメラ１０、画像解析部１３及び距離情報取得部１４を有する測距装置６０と、車両位置判定部６１とを備える。車両位置判定部６１は、該測距装置６０が算出する測距結果、例えば、前走車までの距離に基づいて当該車両５９の前走車に対する相対的な位置を判定する。なお、画像解析部１３、距離情報取得部１４及び車両位置判定部６１は、ソフトウェア（プログラム）による実装及びハードウェアによる実装のいずれも可能であり、ソフトウェアとハードウェアとの組合せによって実装してもよい。例えば、カメラ１０に内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、そのプログラムをコンピュータに実行させることで各部の処理を実現してもよい。また、各部の処理の全部又は一部を論理回路によって実現するＡＳＩＣ等の専用プロセッサを設けてもよい。

【0041】

また、車両５９は、車両情報取得装置６２（移動体情報取得装置）と、制御装置６３と、警報装置６４とを備え、車両位置判定部６１が車両情報取得装置６２と、制御装置６３と、警報装置６４と接続される。車両位置判定部６１は、車両情報取得装置６２から車両５９の車速（速度）、ヨーレート、及び舵角等の少なくともいずれかを車両情報（移動体情報）として取得する。制御装置６３は車両位置判定部６１の判定結果に基づいて車両５９を制御する。警報装置６４は車両位置判定部６１の判定結果に基づいて警報を発する。制御装置６３は、例えば、ＥＣＵ（エンジンコントロールユニット）である。例えば、車両位置判定部６１の判定結果として前走車との衝突可能性が高い場合、制御装置６３は車両５９のブレーキをかける、アクセルを戻す、エンジン出力を抑制する等して衝突を回避、被害を軽減する車両制御を行う。また、例えば、前走車との衝突可能性が高い場合、警報装置６４は音等の警報を鳴し、カーナビゲーションシステム等の画面に警報情報を表示し、シートベルトやステアリングに振動を与える等してユーザに警告を行う。本実施の形態では、測距装置６０のカメラ１０が車両５９の周囲、例えば、前方若しくは後方を撮像する。なお、制御装置６３が、測距装置６０の測距結果だけでなく車両情報取得装置６２で取得した車両情報にも基づいて車両５９を制御する構成にしてもよい。

【0042】

図１５は、本実施の形態における運転支援システムの動作例としての衝突回避処理を示すフローチャートである。このフローチャートに沿って運転支援システムの各部の動作を以下に説明する。

【0043】

まず、ステップＳ１ではカメラ１０を用いて複数の画像（例えば、測距用の２つの画像、及び、撮像用の１つの画像）の画像信号を取得する。次に、ステップＳ２では車両情報取得装置６２から車両情報の取得を行う。ここでの車両情報は、車両５９の車速、ヨーレート、及び舵角等の少なくともいずれかを含む情報である。次に、ステップＳ３では取得された複数の画像信号のうち少なくとも１つの画像信号に対して特徴解析（認識処理）を行う。具体的には、画像解析部１３が、画像信号におけるエッジの量や方向、濃度値、色、輝度値等の特徴量を解析することにより、対象物（自動車、自転車、歩行者、車線、ガードレール、ブレーキランプ等）を認識（検知）する。なお、画像の特徴量解析は、複数の画像信号のそれぞれに対して行ってもよく、若しくは、複数の画像信号のうち一部の画像信号のみ（例えば、撮像用の１つの画像信号のみ）に対して行ってもよい。

【0044】

続くステップＳ４では、カメラ１０で撮像された複数の画像間の視差を距離情報取得部１４で求めることにより、撮像された画像に存在する対象物までの距離情報を取得する。この距離情報の取得は距離情報取得部１４にて行う。なお、視差の算出方法に関しては、ＳＳＤＡ法や面積相関法等が既に公知の技術として存在するため、本実施の形態では詳細の説明は省略する。なお、ステップＳ２、Ｓ３、Ｓ４の視差の取得は、上記のステップ順に行ってもよく、若しくは各ステップを並列に行ってもよい。ここで、撮像された画像に存在する対象物までの距離又はデフォーカス量はステップＳ４で求めた視差、カメラ１０の内部パラメータ及び外部パラメータから計算することができる。本実施の形態では、距離情報とは、対象物までの距離、デフォーカス量、視差（像ズレ量）等の対象物の位置に関する情報であると定義する。なお、距離情報は、奥行情報又は深さ情報と呼ばれることもある。

【0045】

その後、ステップＳ５で、求められた距離情報が予め定めた設定内にあるか否か、つまり、設定距離内に障害物が存在するか否かを判定し、前方または後方の衝突可能性の判定を行う。設定距離内に障害物が存在する場合、衝突可能性ありと判定し、制御装置６３は車両５９の回避動作を行う（ステップＳ６）。具体的には、衝突可能性ありの旨を制御装置６３や警報装置６４に対して通知する。このとき、制御装置６３は車両５９の移動方向及び移動速度の少なくとも１つを制御する。例えば、ブレーキをかける、つまり、車両５９の各輪に制動力を発生させる制御信号を生成して出力し、エンジンの出力を抑制する等して前走車との衝突の回避及び衝突可能性の低減を行う。また、警報装置６４はユーザに対して音や映像、振動等で危険を通知する。その後、本処理を終了する。一方、設定距離内に障害物が存在しない場合、衝突可能性なしと判定し、本処理を終了する。

【0046】

図１５の処理によれば、効果的に障害物の検知を行うことが可能となる。つまり、正確に障害物を検知し、衝突回避及び被害低減が可能となる。

【0047】

なお、本実施の形態では、距離情報に基づいた衝突回避について説明したが、距離情報に基づいて、先行車に追従走行し、車線内中央を維持し、又は、車線からの逸脱を抑制する車両に本発明を適用することもできる。また、本発明は、車両５９の運転支援だけでなく、車両５９の自律運転にも適用可能である。さらに、本発明における測距装置６０は、自動車等の車両に限らず、例えば、船舶、航空機、ドローンあるいは産業用ロボット等の移動体に適用することができる。さらに、本発明における測距装置６０は、移動体に限らず、交差点監視システムや高度道路交通システム（ＩＴＳ）において用いられる機器等、広く物体認識を利用する機器に適用することができる。例えば、交差点監視システムにおける非移動体である交差点監視カメラに本発明を適用してもよい。

【0048】

以上、本発明について各実施の形態を用いて説明したが、本発明は上述した各実施の形態に限定されるものではない。

【0049】

本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0050】

１０ カメラ
１１，５３ 光学系
１２ 撮像素子
１２ａ 撮像用画素
１２ｂ 測距用画素
１２ｃ 撮像兼測距用画素
１３ 画像解析部
１４ 距離情報取得部
３０ 射出瞳
３１，３２，４７，４８ 測距用瞳
３３ 撮像用瞳
３４，３５ 測距用光束
３６ 撮像用光束
３７，４１，４３ マイクロレンズ
３８，４２，４４〜４６，４９，５０ ＰＤ
３９，６５ 開口
４０，６６ 遮光膜
５１ 絞り
５２ 絞り孔
５４ 他の絞り孔
５９ 車両
６０ 測距装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】