特許第6868570号(P6868570)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社小糸製作所の特許一覧

特許6868570車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
<>
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000002
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000003
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000004
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000005
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000006
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000007
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000008
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000009
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000010
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000011
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000012
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000013
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000014
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000015
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000016
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000017
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000018
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000019
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000020
  • 特許6868570-車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 図000021
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6868570
(24)【登録日】2021年4月14日
(45)【発行日】2021年5月12日
(54)【発明の名称】車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
(51)【国際特許分類】
   G01S 7/484 20060101AFI20210426BHJP
   G01S 7/4861 20200101ALI20210426BHJP
   G01S 17/18 20200101ALI20210426BHJP
   G01S 17/894 20200101ALI20210426BHJP
   G01S 17/931 20200101ALI20210426BHJP
【FI】
   G01S7/484
   G01S7/4861
   G01S17/18
   G01S17/894
   G01S17/931
【請求項の数】12
【全頁数】28
(21)【出願番号】特願2017-557832(P2017-557832)
(86)(22)【出願日】2016年12月1日
(86)【国際出願番号】JP2016085810
(87)【国際公開番号】WO2017110413
(87)【国際公開日】20170629
【審査請求日】2019年9月24日
(31)【優先権主張番号】特願2015-248820(P2015-248820)
(32)【優先日】2015年12月21日
(33)【優先権主張国】JP
(31)【優先権主張番号】特願2015-248821(P2015-248821)
(32)【優先日】2015年12月21日
(33)【優先権主張国】JP
(31)【優先権主張番号】特願2015-248822(P2015-248822)
(32)【優先日】2015年12月21日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000001133
【氏名又は名称】株式会社小糸製作所
(74)【代理人】
【識別番号】110001416
【氏名又は名称】特許業務法人 信栄特許事務所
(72)【発明者】
【氏名】眞野 光治
(72)【発明者】
【氏名】難波 高範
(72)【発明者】
【氏名】遠藤 修
(72)【発明者】
【氏名】伊藤 昌康
【審査官】 中村 説志
(56)【参考文献】
【文献】 特開2009−257981(JP,A)
【文献】 特開2010−066221(JP,A)
【文献】 特開2000−172995(JP,A)
【文献】 特開2015−135273(JP,A)
【文献】 特開2004−157061(JP,A)
【文献】 特開2009−031165(JP,A)
【文献】 特開2007−271373(JP,A)
【文献】 特表2015−527761(JP,A)
【文献】 国際公開第2015/001550(WO,A1)
【文献】 特開2009−092555(JP,A)
【文献】 特開2009−192359(JP,A)
【文献】 特開2012−220366(JP,A)
【文献】 米国特許第07956988(US,B1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48− 7/51
G01S17/00−17/95
(57)【特許請求の範囲】
【請求項1】
所定方向にパルス光を発光する発光部と、
ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像し、ターゲット距離領域の異なる複数の撮像画像を取得する画像取得部と、
前記発光部および前記画像取得部を制御するタイミング制御部と、
を備え、
前記タイミング制御部は、異なるターゲット距離領域のうち対象物の認識に必要な特定距離の領域を前記特定距離以外の領域よりも高輝度で撮像するために、前記特定距離の領域では前記特定距離以外の領域よりも前記パルス光の発光時間を長くするとともに前記画像取得部による露光時間を短くする、車両用画像取得装置。
【請求項2】
前記特定距離の領域は、悪天候下または夜間の場合には前記ターゲット距離領域のうち前記画像取得部に最も近い領域である、請求項1に記載の車両用画像取得装置。
【請求項3】
前記特定距離の領域は、前記ターゲット距離領域のうち認識候補の対象物を検知した領域である、請求項1に記載の車両用画像取得装置。
【請求項4】
前記特定距離の領域は、前記認識候補の対象物を検知した領域が複数ある場合には、当該複数の領域のうち前記画像取得部に最も近い領域と設定される、請求項3に記載の車両用画像取得装置。
【請求項5】
前記タイミング制御部は、ターゲット距離領域毎に前記発光部による前記パルス光の少なくとも1回の発光および前記画像取得部による少なくとも1回の撮像を行うことで少なくとも1枚の撮像画像を取得するとともに、前記特定距離の領域の前記少なくとも1枚の撮像画像の取得タイミングが前記特定距離以外の複数の領域のそれぞれの前記少なくとも1枚の撮像画像の取得タイミングの間に挟まれるように、前記発光部および前記画像取得部を制御する、請求項1から4のいずれか一項に記載の車両用画像取得装置。
【請求項6】
所定方向にパルス光を発光する発光部と、ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像してターゲット距離領域の異なる複数の撮像画像を取得する画像取得部とを備えた車両用画像取得装置を制御するための制御装置であって、
異なるターゲット距離領域のうち対象物の認識に必要な特定距離の領域を前記特定距離以外の領域よりも高輝度で撮像するために、前記特定距離の領域では前記特定距離以外の領域よりも前記パルス光の発光時間を長くするとともに前記画像取得部による露光時間を短くする、制御装置。
【請求項7】
撮像タイミングを変化させながら所定方向に発光されるパルス光の反射光を撮像することで、ターゲット距離領域の異なる複数の撮像画像を取得する、車両用画像取得方法であって、
異なるターゲット距離領域のうち対象物の認識に必要な特定距離の領域を前記特定距離以外の領域よりも高輝度で撮像するために、前記特定距離の領域では前記特定距離以外の領域よりも前記パルス光の発光時間を長くするとともに前記反射光を撮像するための露光時間を短くする、車両用画像取得方法。
【請求項8】
所定方向にパルス光を発光する発光部と、
ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像し、ターゲット距離領域の異なる複数の撮像画像を取得する画像取得部と、
前記発光部および前記画像取得部を制御するタイミング制御部と、
を備え、
前記タイミング制御部は、異なるターゲット距離領域のうち対象道路環境の領域を前記対象道路環境以外の領域よりも集中的に撮像するために、前記対象道路環境の領域では前記対象道路環境以外の領域よりも前記パルス光の発光時間を長くするとともに前記画像取得部による露光時間を短くする、車両用画像取得装置。
【請求項9】
前記対象道路環境は、交差点あるいはカーブであって、地図情報より取得される、請求項8に記載の車両用画像取得装置。
【請求項10】
所定方向にパルス光を発光する発光部と、ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像してターゲット距離領域の異なる複数の撮像画像を取得する画像取得部とを備えた車両用画像取得装置を制御するための制御装置であって、
異なるターゲット距離領域のうち対象道路環境の領域を前記対象道路環境以外の領域よりも集中的に撮像するために、前記対象道路環境の領域では前記対象道路環境以外の領域よりも前記パルス光の発光時間を長くするとともに前記画像取得部による露光時間を短くする、制御装置。
【請求項11】
撮像タイミングを変化させながら所定方向に発光されるパルス光の反射光を撮像することで、ターゲット距離領域の異なる複数の撮像画像を取得する、車両用画像取得方法であって、
異なるターゲット距離領域のうち対象道路環境の領域を前記対象道路環境以外の領域よりも集中的に撮像するために、前記対象道路環境の領域では前記対象道路環境以外の領域よりも前記パルス光の発光時間を長くするとともに前記反射光を撮像するための露光時間を短くする、車両用画像取得方法。
【請求項12】
請求項1から5、8および9のいずれか一項に記載の車両用画像取得装置、または請求項6または10に記載の制御装置を備えている、車両。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法に関する。
【背景技術】
【0002】
特許文献1には、自車両前方に所定周期でパルス光を出射し、ターゲット距離に応じて設定される撮像タイミングでターゲット距離からの反射光を撮像し、それにより得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する、車両用距離画像データ生成装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】日本国特開2009−257983号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載のような車両用距離画像データ生成装置においては、パルス光の発光時間および反射光の撮像(露光)時間が短いほどターゲット距離の分解能を細かくし距離検出の精度を上げることができるが、発光時間および露光時間が短いほど撮像した画像の輝度が低く物体の認識が困難になる。また、単純に、発光強度を高めたり発光パルス幅を長くすると消費電力が増大し、発光回数および露光回数を増やすとフレームレートが高くなり撮像対象となる全撮影領域の撮像画像を網羅的に取得するための時間が長くなるといった弊害が生じる。
【0005】
また、特許文献1に記載のような車両用距離画像データ生成装置においては、パルス光の投光時間および反射光の撮像(露光)時間によって、距離分解能が決まる。距離検出の精度を上げるためには、距離分解能ができるだけ細かい(1フレーム分の領域幅が短い)ことが望ましい。また、撮影したい距離領域であるターゲット距離領域(例えば、自車両前方の0m〜200m)の全てを、細かな距離分解能で明るく撮影できることが望ましい。しかしながら、距離分解能が短いほど所望の撮影範囲の距離画像を網羅的に取得するための時間がかかったり、装置のコストが上がったりしてしまう。
【0006】
本開示の第一の目的は、細かな距離分解能を維持しつつも、撮像画像内の物体の認識精度を向上し得る車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法を提供することにある。
【0007】
また、本開示の第二の目的は、対象物の認識精度を向上させつつ、所望の撮影範囲の距離画像を網羅的に取得するための時間やコストの増大を防止可能な車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法を提供することにある。
【0008】
さらに、本開示の第三の目的は、ターゲット距離領域のうち対象物が存在する距離領域を集中的に撮影するための車両用画像取得方法、車両用画像取得装置、制御装置、および車両用画像取得装置または制御装置を備えた車両を提供することにある。
【課題を解決するための手段】
【0009】
上記第一の目的を達成するため、本開示の車両用画像取得装置は、
所定方向にパルス光を発光する発光部と、
ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像し、ターゲット距離領域の異なる複数の撮像画像を取得する画像取得部と、
前記パルス光の発光周期および前記撮像タイミングを制御するタイミング制御部と、
を備え、
前記タイミング制御部は、異なるターゲット距離領域のうち対象物の認識に必要な特定距離の領域を前記特定距離以外の領域よりも高輝度で撮像するように、前記発光周期および前記撮像タイミングの少なくとも一方を制御する。
【0010】
上記構成によれば、対象物の認識に必要な特定距離の領域のみを高輝度で(明るく)撮像することで、対象物の存在し得る特定距離の領域の撮像画像と特定距離以外の領域の撮像画像との輝度のコントラストがはっきりするため、特定距離の領域内の対象物の認識がしやすくなる。これにより、細かな距離分解能を維持しつつも、撮像画像内の物体の認識精度を向上させることができ、照明制御や車両制御の向上につなげることができる。
【0011】
前記特定距離の領域は、悪天候下または夜間の場合には前記ターゲット距離領域のうち前記画像取得部に最も近い領域であっても良い。
【0012】
上記構成によれば、悪天候下あるいは夜間に最も注意を払うべき画像取得部に最も近い領域を明るく撮像することで、対象物の認識精度を向上させ、雨天時や夜間の安全運転に寄与することができる。
【0013】
前記特定距離の領域は、前記ターゲット距離領域のうち認識候補の対象物を検知した領域であっても良い。
【0014】
上記構成によれば、認識候補となる対象物の検知を前もって行うことで、対象物の認識精度を上げることができる。
【0015】
前記特定距離の領域は、前記認識候補の対象物を検知した領域が複数ある場合には、当該複数の領域のうち前記画像取得部に最も近い領域と設定されても良い。
【0016】
上記構成によれば、複数の認識候補の対象物がある場合に、画像取得部に最も近い対象物を明るく撮像することで、最も注意を払うべき対象物の認識精度を向上させることができる。
【0017】
前記タイミング制御部は、前記特定距離の領域では前記特定距離以外の領域よりも前記パルス光の発光回数および前記画像取得部による露光回数を増やしても良い。
【0018】
上記構成によれば、特定距離の領域においてのみ発光回数および露光回数を増やすことで、消費電力を必要以上に上げることなく、また、フレームレートを必要以上に高くすることなく、対象物の認識精度を上げることができる。
【0019】
前記発光部は、前記特定距離の領域では前記特定距離以外の領域よりも前記パルス光の発光強度を上げるように制御されても良い。
【0020】
上記構成によれば、特定距離の領域においてのみ発光強度を上げることで、消費電力を必要以上に上げることなく、対象物の認識精度を上げることができる。
【0021】
前記タイミング制御部は、前記特定距離の領域では前記特定距離以外の領域よりも前記パルス光の発光時間を長くするとともに前記画像取得部による露光時間を短くしても良い。
【0022】
上記構成によれば、特定距離の領域においてのみ発光時間を長くしつつ露光時間を短くすることで、細かな距離分解能を維持しながら、対象物の認識精度を上げることができる。
【0023】
また、上記第一の目的を達成するため、本開示の制御装置は、
所定方向にパルス光を発光する発光部と、ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像してターゲット距離領域の異なる複数の撮像画像を取得する画像取得部とを備えた車両用画像取得装置を制御するための制御装置であって、
異なるターゲット距離領域のうち対象物の認識に必要な特定距離の領域を前記特定距離以外の領域よりも高輝度で撮像するように、前記パルス光の発光周期および前記撮像タイミングの少なくとも一方を制御する。
【0024】
上記構成によれば、特定距離の領域内の対象物の認識がしやすくなるため、細かな距離分解能を維持しつつも、撮像画像内の物体の認識精度を向上させることができ、照明制御や車両制御の向上につなげることができる。
【0025】
また、上記第一の目的を達成するため、本開示の車両用画像取得方法は、
撮像タイミングを変化させながら所定方向に発光されるパルス光の反射光を撮像することで、ターゲット距離領域の異なる複数の撮像画像を取得する、車両用画像取得方法であって、
異なるターゲット距離領域のうち対象物の認識に必要な特定距離の領域を前記特定距離以外の領域よりも高輝度で撮像するように、前記パルス光の発光周期および前記撮像タイミングの少なくとも一方を制御する。
【0026】
上記構成によれば、細かな距離分解能を維持しつつも、撮像画像内の物体の認識精度を向上させることができる。
【0027】
上記第二の目的を達成するため、本開示の車両用画像取得装置は、
所定方向にパルス光を発光する発光部と、
ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像し、ターゲット距離の異なる複数の撮像画像を取得する画像取得部と、
前記パルス光の発光周期および前記撮像タイミングを制御するタイミング制御部と、
を備え、
前記タイミング制御部は、異なるターゲット距離領域のうち対象道路環境の領域を前記対象道路環境以外の領域よりも集中的に撮像するように、前記発光周期および前記撮像タイミングの少なくとも一方を制御する。
【0028】
上記構成によれば、対象道路環境の領域のみ集中的に撮像することで、対象物までの距離を精度良く把握することができ、所望の撮影範囲の画像を網羅的に取得するための時間やコストの増大を防止することができる。また、対象道路環境の領域とそれ以外の領域との輝度のコントラストがはっきりするため、対象道路環境内の認識候補の対象物の認識がしやすくなる。そのため、照明制御や車両制御の向上につなげることができる。
【0029】
前記対象道路環境は、交差点あるいはカーブであって、地図情報より取得されても良い。
【0030】
上記構成によれば、事故の起こりやすい交差点や見通しの悪いカーブを地図情報から取得して集中的に撮像することで、交通事故の抑制につなげることができる。
【0031】
前記タイミング制御部は、前記対象道路環境の領域では前記対象道路環境以外の領域よりも前記パルス光の発光時間および前記撮像部による露光時間を短くしても良い。
【0032】
上記構成によれば、対象道路環境の領域において発光時間および露光時間を短くすることで、対象道路環境の領域の距離分解能を向上させることができる。
【0033】
前記タイミング制御部は、前記対象道路環境の領域では前記対象道路環境以外の領域よりも前記パルス光の発光時間を長くするとともに前記撮像部による露光時間を短くしても良い。
【0034】
上記構成によれば、対象道路環境の領域を明るく撮像でき、対象物の認識精度を高めることができる。
【0035】
前記タイミング制御部は、前記対象道路環境の領域では前記対象道路環境以外の領域よりも前記パルス光の発光強度を上げても良い。
【0036】
上記構成によれば、対象道路環境の領域を明るく撮像でき、対象物の認識精度を高めることができる。
【0037】
また、上記第二の目的を達成するため、本開示の制御装置は、
所定方向にパルス光を発光する発光部と、ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像してターゲット距離領域の異なる複数の撮像画像を取得する画像取得部とを備えた車両用画像取得装置を制御するための制御装置であって、
異なるターゲット距離領域のうち対象道路環境の領域を前記対象道路環境以外の領域よりも集中的に撮像するように、前記発光周期および前記撮像タイミングの少なくとも一方を制御する。
【0038】
上記構成によれば、対象道路環境の領域のみ集中的に撮像することで、対象物までの距離を精度良く把握することができるとともに、対象道路環境内の認識候補の物体の認識がしやすくなる。
【0039】
また、上記第二の目的を達成するため、本開示の車両用画像取得方法は、
撮像タイミングを変化させながら所定方向に発光されるパルス光の反射光を撮像することで得られた、ターゲット距離領域の異なる複数の撮像画像を取得する、車両用画像取得方法であって、
異なるターゲット距離領域のうち対象道路環境の領域を前記対象道路環境以外の領域よりも集中的に撮像するように、前記パルス光の発光周期および前記撮像タイミングの少なくとも一方を制御する。
【0040】
上記構成によれば、対象道路環境の領域のみ集中的に撮像することで、対象物までの距離を精度良く把握することができるとともに、対象道路環境内の認識候補の物体の認識がしやすくなる。
【0041】
上記第三の目的を達成するため、本開示の車両用画像取得方法は、
撮像タイミングを変化させながら所定方向に所定周期でパルス光を発光するステップと、ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像し、ターゲット距離の異なる複数の撮像画像を取得するステップとを含む、車両用画像取得方法であって、
前記パルス光を発光するステップの前に、前記対象物の有無を検索するステップを含む。
【0042】
上記構成によれば、予め対象物の有無を検索するステップを備えることで、パルス光を発光するステップおよびパルス光の反射光を撮像するステップにおいてターゲット距離領域のうち対象物の存在する距離領域を集中的に撮影することができる。そのため、物体認識の精度を向上させることができるとともに、ターゲット距離領域の撮像画像を網羅的に取得するための時間やコストの増大を防止することができる。
【0043】
前記対象物の有無を検索するステップは、前記対象物の有無およびその距離を検索するための検索フレームを、所定の連続的に変化する距離領域を撮影するための撮影フレームの前に設けることを含んでも良い。
【0044】
上記構成によれば、容易な方法により画像取得処理の前に対象物の有無を検索することができる。
【0045】
前記対象物の有無を検索するステップは、
前記ターゲット距離領域を自車両に近い近傍領域と前記自車両から遠い遠方領域とに区分けし、
前記遠方領域を最初の検索領域と設定し、
前記遠方領域からの反射光が撮像された前記遠方領域の画像に所定の画像領域が含まれるか否かを判断し、
前記所定の画像領域の有無によって次の検索領域を決定することで前記自車両から最も近い対象物の距離を検出することを含んでも良い。
【0046】
上記構成によれば、少ないフレーム数で最も近い距離にある対象物を検索することができる。
【0047】
前記所定の画像領域は、輝度値がしきい値以下の画素領域であっても良い。
【0048】
上記構成によれば、簡便な処理により対象物の有無を検索することができる。
【0049】
前記対象物の有無を検索するステップは、前記パルス光の複数回の発光または前記反射光の複数回の撮影によって前記対象物が存在する距離領域を絞り込むことを含んでも良い。
【0050】
上記構成によれば、少ないフレーム数で最も近い距離にある対象物を検索することができる。
【0051】
また、上記第三の目的を達成するため、本開示の車両用画像取得装置は、
所定方向にパルス光を発光する発光部と、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像し、ターゲット距離の異なる複数の撮像画像を取得する画像取得部と、
前記パルス光の発光周期および前記撮像タイミングを制御するタイミング制御部と、
を備え、
前記発光部による前記パルス光の発光前に、対象物の有無を検索する検索処理制御部を備えている。
【0052】
上記構成によれば、予め対象物の有無を検索することで、ターゲット距離領域のうち対象物の存在する距離領域を集中的に撮影することができる。そのため、物体認識の精度を向上させることができるとともに、ターゲット距離領域の距離画像を網羅的に取得するための時間やコストの増大を防止することができる。
【0053】
また、上記第三の目的を達成するため、本開示の制御装置は、
所定方向にパルス光を発光する発光部と、ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像してターゲット距離領域の異なる複数の撮像画像を取得する画像取得部とを備えた車両用画像取得装置を制御するための制御装置であって、
前記発光部による前記パルス光の発光前に、対象物の有無を検索する検索処理制御部を備えている。
【0054】
上記構成によれば、予め対象物の有無を検索することで、ターゲット距離領域のうち対象物の存在する距離領域を集中的に撮影することができ、物体認識の精度を向上させることができるとともに、ターゲット距離領域の距離画像を網羅的に取得するための時間やコストの増大を防止することができる。
【0055】
また、上記第一から第三の目的を達成するため、本開示の車両は、
上述の車両用画像取得装置または制御装置を備えている。
【0056】
上記構成によれば、例えば自動運転システムを搭載した車両における安全性を高めることができる。
【発明の効果】
【0057】
本開示によれば、細かな距離分解能を維持しつつも、撮像画像内の物体の認識精度を向上させることができる。
【0058】
また、本開示によれば、対象物の認識精度を向上させつつ、所望の撮影範囲の画像を網羅的に取得するための時間やコストの増大を防止させることができる。
【図面の簡単な説明】
【0059】
図1】本実施形態の障害物検出装置の構成を示すブロック図である。
図2】各ターゲット距離領域を撮像する際の、発光部の動作(発光動作)とゲートの動作(カメラゲート動作)との時間的な関係を示す図である。
図3】自車両前方の異なる位置に4つの異なる物体が存在している状況を示す図である。
図4】撮像領域の一部がオーバーラップする状態を示す図である。
図5】各物体に対応する画素の時間的な輝度変化を示す模式図である。
図6】発光/露光時間と距離分解能との関係を説明するための図である。
図7】実施例1に係る、特定距離の領域の決定処理を示すフローチャートである。
図8】実施例1に係る、発光周期および撮像タイミングを示す図である。
図9】実施例1の別の例に係る発光周期と撮像タイミングとの時間的な関係を示す図である。
図10】実施例2に係る、特定距離の領域とそれ以外の領域との発光強度の関係を示す図である。
図11】発光時間を変化させた場合の反射光量および撮像対象長さの変化を示す図である。
図12】実施例3および実施例6に係る、発光時間および露光時間と反射光量および距離分解能との関係を示す図である。
図13】実施例4に係る、発光周期および撮像タイミングを示す図である。
図14】実施例5に係る、特定距離の領域とそれ以外の領域との発光強度の関係を示す図である。
図15】実施例7に係る、対象物の検索方法を示す図である。
図16】実施例7に係る、特定距離における撮像の模式図および撮像画像であって、(A)は特定距離よりも手前に対象物が無い場合の模式図および撮像画像であり、(B)は、特定距離よりも手前に対象物がある場合の模式図および撮像画像である。
図17】実施例7に係る、検索距離決定のためのシーケンス処理を示す図である。
図18】実施例7に係る、発光周期および撮像タイミングの例を示す図である。
図19】実施例8に係る、検索距離決定のためのシーケンス処理を示す図である。
図20】実施例8の別の例に係る、検索距離決定のためのシーケンス処理を示す図である。
【発明を実施するための形態】
【0060】
以下、本実施形態の一例について、図面を参照して詳細に説明する。
【0061】
図1は、車両用画像取得装置を適用した本実施形態に係る障害物検出装置の構成を示すブロック図である。図2は、各ターゲット距離領域を撮像する際の、発光部の動作(発光動作)とゲートの動作(カメラゲート動作)との時間的な関係を示す模式図である。
【0062】
図1に示されるように、車両V(自車両)に設けられる障害物検出装置1は、画像取得装置2と、画像処理部(距離画像データ生成部)3と、物体認識処理部4と、判断部10とを備えている。
【0063】
画像取得装置2は、発光部5と、対物レンズ6と、光増倍部7と、高速度カメラ(画像取得部)8と、タイミングコントローラ(タイミング制御部)9とを備えている。
【0064】
発光部5は、例えば、車両Vの前端部に配置した近赤外線LEDである。図2に示されるように、発光部5は、タイミングコントローラ9から出力されるパルス信号に応じて、所定の発光時間tL(例えば、5ns)の間、所定方向(例えば、車両Vの前方)にパルス光を出射する。発光部5から照射されるパルス光の発光周期tPは、例えば、10μs以下の間隔とする。
【0065】
対物レンズ6は、例えば、車両V前方の所定範囲を撮像できる画角とするように設定された光学系であって、物体からの反射光を受光する。対物レンズ6は、発光部5と近接して配置されていても良く、離隔して配置されていても良い。
【0066】
光増倍部7は、ゲート7aとイメージインテンシファイア7bとを備えている。
ゲート7aは、タイミングコントローラ9からの開閉指令信号に応じて開閉する。本実施形態では、ゲート7aの開放時間(ゲート時間)tGを、発光時間tLと同じ5nsとしている。ゲート時間tGは、領域1から領域nまでの全撮像領域における各領域(ターゲット距離領域)の撮像対象長さ(撮像対象深さ)に比例する。ゲート時間tGを長くするほど各領域の撮像対象長さは長くなる。撮像対象長さは、光速度×ゲート時間tGから求められ、本実施形態では、ゲート時間tG=5nsとしているため、撮像対象長さは、「光速度(約3×10m/s)×ゲート時間(5ns)」より、1.5mとなる。
イメージインテンシファイア7bは、極微弱な光(物体からの反射光等)を一旦電子に変換して電気的に増幅し、再度蛍光像に戻すことで光量を倍増してコントラストのついた像を見るためのデバイスである。イメージインテンシファイア7bにより増幅された光は高速度カメラ8のイメージセンサに導かれる。
【0067】
高速度カメラ8は、タイミングコントローラ9からの指令信号に応じて、光増倍部7から発せられた像を撮像し、取得した撮像画像を画像処理部3へ出力する。本実施形態では、解像度640×480(横:縦)、輝度値1〜255(256段階)、100fps以上のカメラを用いている。
【0068】
タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、狙った撮像領域であるターゲット距離領域から帰ってくる反射光のタイミングとなるように、発光部5の発光開始時点からゲート7aを開くまでの時間であるディレイ時間tD(図2では、tD,tDn+1)を設定し、ディレイ時間tDに応じた開閉指令信号を出力することで、撮像タイミングを制御する。つまり、ディレイ時間tDは、車両Vからターゲット距離領域までの距離(撮像対象距離)を決める値である。ディレイ時間tDと撮像対象距離との関係は、以下の式(1)から求められる。
撮像対象距離=光速度(約3×10m/s)×ディレイ時間tD/2 ・・・式(1)
【0069】
タイミングコントローラ9は、ターゲット距離領域が車両Vの前方(遠方)へと連続的に離れるように、ディレイ時間tDを所定間隔(例えば、10ns)ずつ長くすることで、高速度カメラ8の撮像範囲を車両Vの前方側へ変化させる。なお、タイミングコントローラ9は、ゲート7aが開く直前に高速度カメラ8の撮像動作を開始させ、ゲート7aが完全に閉じた後に撮像動作を終了させる。
【0070】
タイミングコントローラ9は、設定された所定のターゲット距離領域(領域1、領域2、…、領域nの各領域)毎に複数回の発光および露光を行うよう発光部5、ゲート7aおよび高速度カメラ8を制御する。高速度カメラ8が受光した光は電荷に変換され、複数回の発光および露光を繰り返すことで蓄積される。所定の電荷蓄積時間ごとに得られる1枚の撮像画像をフレームと呼ぶ。なお、高速度カメラ8は、ターゲット距離領域ごとに1枚(1フレーム)ずつ撮像画像を取得しても良く、あるいは各ターゲット距離領域において複数の撮像画像(数フレーム)を取得しても良い。このようにして、高速度カメラ8は、ターゲット距離領域の異なる複数の撮像画像を取得し、取得した複数の撮像画像を画像処理部3へ出力する。
【0071】
画像処理部3は、高速度カメラ8により撮像された全撮像領域の撮像画像における同一画素の輝度に基づいて、画素毎の物体(対象物)までの距離を表す距離画像データを生成し、生成した距離画像データを物体認識処理部4へ出力する。
【0072】
物体認識処理部4は、距離画像データに含まれる物体を特定する。物体の特定方法は、パターンマッチング等、周知の技術を用いることができる。
【0073】
判断部10は、物体認識処理部4により特定された物体(人、自動車、標識等)と自車両(車両V)との関係(距離、方向等)を判断する。
【0074】
次に、本実施形態に係る画像取得の作用を説明する。
[画像取得作用]
タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、所定のターゲット距離領域から帰ってくる反射光のタイミングとなるように、ディレイ時間tDを設定し、高速度カメラ8の撮像タイミングを制御する。ターゲット距離領域に物体が存在している場合、発光部5から出射された光がターゲット距離領域から戻ってくる時間は、車両Vとターゲット距離領域との間の距離(撮像対象距離)を光が往復する時間となるため、ディレイ時間tDは、撮像対象距離と光速度から求めることができる。
【0075】
上記方法で得られた高速度カメラ8の撮像画像において、ターゲット距離領域に物体が存在する場合、当該物体の位置に対応する画素の輝度値データは、反射光の影響を受け、他の画素の輝度値データよりも高い値を示す。これにより、各画素の輝度値データに基づいて、ターゲット距離領域に存在する物体との距離を求めることができる。
【0076】
図3は、車両Vの前方の異なる位置に4つの物体A〜Dが存在している状況を示している。物体Aは傘をさした人物であり、物体Bは対向車線側のバイクであり、物体Cは歩道側の樹木であり、物体Dは対向車線側の車両(対向車)である。車両Vと各物体との距離の関係は、A<B<C<Dとする。
このとき、本実施形態では、1つの物体からの反射光が連続する複数の撮像領域における撮像画像の画素に反映されるように、撮像領域の一部をオーバーラップさせている。すなわち、図4に示すように、撮像対象距離をB1→B2→B3→…と連続的に変化させながら撮像する際、撮像領域の撮像対象長さAよりも撮像対象距離の増加量(B2−B1)を短くすることで、撮像領域の一部がオーバーラップしながら変化するように撮像対象距離の増加量を設定している。
【0077】
図5は、各物体に対応する画素の時間的な輝度変化を示している。
撮像領域の一部をオーバーラップさせることで、図5に示されるように、連続する複数の撮像画像における同一画素の輝度値は、徐々に増加し、各物体A〜Dの位置でピークとなった後は徐々に小さくなる三角波状の特性を示す。このように、1つの物体からの反射光が複数の撮像画像に含まれるようにすることで、画素の時間的な輝度変化が三角波状となるため、当該三角波状のピークと対応する撮像領域を当該画素における車両Vから各物体(被写体)A〜Dまでの距離とすることで、検出精度を高めることができる。
【0078】
なお、上記実施形態に係る画像取得装置2を備えた障害物検出装置1を、いわゆるAHB(オートマチック・ハイビーム)システムやADB(アダプティブ・ドライビング・ビーム)システムの配光制御に用いることができる。障害物検出装置1を車両Vに搭載される他のカメラセンサと併用することで、例えば、画像取得装置2にて得られたターゲット距離領域の異なる複数の撮像画像から車両V前方の物体の有無および距離を検出するとともに、他のカメラセンサで車両V前方の映像を取得する。カメラセンサで取得された映像の中の各光点の距離を画像取得装置2で取得した撮像画像から求め、各光点の距離、輝度、形状(光点とその周辺の形状)、時系列変化等から当該光点が車両か否かを判別することができる。このように、画像取得装置2と他のカメラセンサを併用することで、特に遠方の車両の検知を高精度かつ高速に行うことができ、AHBシステムやADBシステムの配光制御を好適に行うことができる。
【0079】
[実施例1]
図6は、発光/露光時間と距離分解能との関係を説明するための図である。図6の(A)は、パルス光のパルス幅(発光時間)および高速度カメラのゲート時間(露光時間)が比較的短い場合の距離分解能を示している。一方、図6の(B)は、パルス光のパルス幅(発光時間)および高速度カメラのゲート時間(露光時間)がそれぞれ(A)のパルス幅およびゲート時間よりも長い場合の距離分解能を示している。また、図6の(C)および(D)には、発光/露光時間と撮像対象距離との関係が示されている。
上述の通り、撮像対象距離Lは「光速×ディレイ時間tD(図6の(C)および(D)における時間tA)/2」から求められる。すなわち、パルス光の発光終了時点から露光開始時点までの時間tAが距離L1に相当し、パルス光の発光開始時点から露光終了時点までの時間tAが距離L2に相当する。そのため、図6の(A)のように発光時間および露光時間が短いほど、図6の(C)に示されるように撮像対象長さ(L2−L1)が短くなる、すなわち、距離分解能が高くなる。一方、図6の(B)のように発光時間および露光時間が長いほど、図6の(D)に示されるように撮像対象長さ(L2−L1)が長くなる、すなわち、距離分解能が低下することがわかる。したがって、発光時間および露光時間が短いほどターゲット距離の分解能を細かくし距離検出の精度を上げることができる。しかし、発光時間および露光時間が短いほど撮像した画像の輝度が低くなるため、物体の認識は困難になる。
【0080】
そこで、本出願の発明者は、上記事情を総合的に考慮して、物体の認識に必要な特定距離の領域のみを高輝度で(明るく)撮像することで、特定距離の領域内の物体の認識精度を向上させることを見出した。以下に、特定距離の領域のみを高輝度で撮像するための方法について詳述する。
【0081】
図7は、実施例1に係る特定距離の領域を決定するためのフローチャートである。図8は、実施例1に係る発光周期と撮像タイミングとの時間的な関係を示す図である。
【0082】
ステップS11において、タイミングコントローラ9は、夜間あるいは悪天候下での走行であるかを判断する。タイミングコントローラ9は、車両Vが備える後述の各種スイッチあるいはセンサからの情報に基づき夜間あるいは悪天候下での走行であるかを判断することができる。ステップS11において夜間あるいは悪天候下での走行であると判断された場合(ステップS11のYes)には、ステップS12へ移行する。一方、ステップS11において夜間あるいは悪天候下での走行ではないと判断された場合(ステップS11のNo)には、ステップS13へ移行する。
【0083】
「悪天候」とは、距離画像データを生成する際に物体の認識ミスにつながりうる天候のことを指す。具体的には、悪天候等とは、雨、霧、雪など、前方の視認を直接的に妨げたり、光を乱反射させる水分が路面等に存在したりする天候である。悪天候であるかの判定は、車両Vのワイパースイッチ、フォグランプスイッチ、または雨滴センサなどからの情報に基づいて行われる。また、夜間であるかの判定は、車両Vのテールランプスイッチやオートライト用のセンサなどからの情報に基づいて行われる。また、夜間判定のための専用のセンサを設けても良い。
【0084】
ステップS12において、タイミングコントローラ9は、車両Vから最も近い領域である領域1にフラグを立てる、すなわち領域1を特定距離の領域の候補とし、ステップS13へ移行する。
【0085】
ステップS13において、タイミングコントローラ9は、各ターゲット距離領域(領域1〜n)において認識候補の物体を検知した領域があるかを判断する。認識候補の物体の検知は、画像取得装置2による画像取得により行ってもよく、他のセンサによりあらかじめ検知を行ってもよい。ステップS13において、タイミングコントローラ9は、認識候補の物体を検知した領域がある場合には(ステップS13のYes)、ステップS14に移行する。一方、ステップS13において、タイミングコントローラ9は、認識候補の物体を検知した領域がない場合には(ステップS13のNo)、ステップS15に移行する。
【0086】
ステップS14において、タイミングコントローラ9は、認識候補の物体を検知した領域のうち車両Vから最も近い領域である領域、例えば領域1にフラグを立てる。すなわち、タイミングコントローラ9は、領域1を特定距離の領域の候補とし、ステップS15へ移行する。なお、タイミングコントローラ9は、領域1で認識候補の物体が検知されない場合は、領域2以降の領域で認識候補の物体を検知した領域のうち、車両Vから最も近い領域にフラグを立てる。
【0087】
ステップS15において、タイミングコントローラ9は、ステップ12またはステップS14でフラグが立てられた領域を特定距離の領域と設定する。このように、悪天候下または夜間の場合にはターゲット距離領域のうち車両Vに最も近い領域が特定距離の領域と設定される。また、ターゲット距離領域のうち認識候補の物体を検知した領域が特定距離の領域と設定され、さらに、認識候補の物体を検知した領域が複数ある場合には、複数の領域のうち車両Vに最も近い領域が特定距離の領域と設定される。
なお、上記の特定距離の領域を決定するための処理は、タイミングコントローラ9ではなく、高速度カメラ8あるいは画像処理部3等で行ってもよい。
【0088】
実施例1においては、以上のように設定された特定距離の領域を、当該特定距離以外の領域よりも高輝度で撮像するように、タイミングコントローラ9によりパルス光の発光周期および反射光の撮像タイミングを制御する。
例えば、特定距離の領域が車両Vから最も近い領域である領域1に設定された場合、図8に示されるように、領域1を撮像するためのパルス光の発光回数および高速度カメラによる露光回数を、特定距離以外の領域2〜nを撮像するための発光回数および露光回数よりも増やす。例えば、領域1における発光周期tPを、例えば1/150msとし、領域2〜nにおける発光周期tPを1/100msとする。このように、特定距離の領域1においてのみ発光回数および露光回数を増やすことで、領域1における撮像画像の画素の輝度が領域2〜nにおける撮像画像の画素の輝度よりも高くなるため、領域1の撮像画像と領域2〜nの撮像画像との輝度の差が大きくなる、すなわち、領域1の撮像画像と領域2〜nの撮像画像とのコントラストが高くなる。
【0089】
なお、特定距離の領域である領域1を撮像するためのパルス光の発光回数および高速度カメラによる露光回数を増やすために、領域1のエリアスキャン回数を特定距離以外の領域2〜nを撮像するためのエリアスキャン回数よりも増やしてもよい。例えば、図9に示されるように、領域1のエリアスキャンが、領域2〜nの各エリアスキャンの間に挟まれるようにすることで、領域1のエリアスキャン回数を領域2〜nのエリアスキャン回数よりも増やすことができる。これにより、特定距離の領域1においてのみ発光回数および露光回数を増やすことができ、距離画像データ内での領域1における撮像画像の画素の輝度が領域2〜nにおける撮像画像の画素の輝度よりも高くなる。
【0090】
以上説明した実施例1の画像取得装置2によれば、以下に列挙する効果を奏する。
【0091】
(1)画像取得装置2のタイミング制御部9は、異なるターゲット距離領域のうち対象物の認識に必要な特定距離の領域を当該特定距離以外の領域よりも高輝度で撮像するように、パルス光の発光周期および反射光の撮像タイミングの少なくとも一方を制御する。
このように、対象物の認識に必要な特定距離の領域のみを高輝度で(明るく)撮像することで、対象物の存在し得る特定距離の領域の撮像画像と特定距離以外の領域の撮像画像との輝度のコントラストがはっきりするため、特定距離の領域内の対象物の認識がしやすくなる。また、比較的短いパルス幅およびゲート時間を維持しているため、高い(細かな)距離分解能を維持することができる。また、特定距離以外の領域では、発光回数および露光回数が増加しないため、必要以上にフレームレートが高くなることがなく、撮像対象となる全撮像領域の撮像画像を網羅的に取得するための時間を短くすることができる。以上のように、本実施例の車両用画像取得装置2によれば、細かな距離分解能を維持しつつ、撮像画像内の物体の認識精度を向上させることができ、照明制御や車両制御の向上につなげることができる。
【0092】
(2)特定距離の領域は、悪天候下または夜間の場合にはターゲット距離領域1〜nのうち車両Vに最も近い領域1であることが好ましい。この構成によれば、悪天候下あるいは夜間に最も注意を払うべき車両Vに最も近い領域1を明るく撮像することで、対象物の認識精度を向上させ、雨天時や夜間の安全運転に寄与することができる。
【0093】
(3)特定距離の領域は、複数のターゲット距離領域1〜nのうち認識候補の対象物を検知した領域であることが好ましい。この構成によれば、認識候補となる対象物の検知を前もって行うことで、対象物の認識精度を上げることができる。
【0094】
(4)特定距離の領域は、認識候補の対象物を検知した領域が複数ある場合には、当該複数の領域のうち車両Vに最も近い領域と設定されることが好ましい。この構成によれば、複数の認識候補の対象物がある場合に、車両Vに最も近い対象物を明るく撮像することで、最も注意を払うべき対象物の認識精度を向上させることができる。
【0095】
(5)タイミング制御部は、特定距離の領域では特定距離以外の領域よりもパルス光の発光回数および露光回数を増やすことが好ましい。この構成によれば、特定距離の領域においてのみ発光回数および露光回数を増やすことで、消費電力を必要以上に増やすことなく、また、フレームレートを必要以上に高くすることなく、対象物の認識精度を上げることができる。
【0096】
[実施例2]
図10は、実施例2に係る、特定距離の領域とそれ以外の領域との発光強度の関係を示す図である。
実施例2においては、例えば、特定距離の領域が車両Vから最も近い領域である領域1に設定された場合、図10に示されるように、領域1を撮像するためのパルス光の発光強度を、特定距離以外の領域2〜nを撮像するための発光強度よりも上げるように発光部5が制御される。このように、特定距離の領域1においてのみ発光強度を上げることで、領域1における撮像画像の画素の輝度が領域2〜nにおける撮像画像の画素の輝度よりも高くなるため、領域1の撮像画像と領域2〜nの撮像画像とのコントラストが高くなる。また、特定領域以外の領域2〜nの発光強度は比較的小さいまま維持されているため、消費電力を必要以上に上げることなく、対象物の認識精度を上げることができる。
【0097】
[実施例3]
図11の(A)および(B)は、発光時間を変化させた場合の反射光量および撮像対象長さの変化を示す図である。また、図12は、実施例3に係る、発光時間および露光時間と反射光量および距離分解能との関係を示す図である。
図11の(A)および(B)に示されるように、発光終了時点から露光開始(ゲート開放)時点までの時間tAにより撮影領域における撮影対象距離の開始地点L1が決まり、発光開始時点から露光終了(ゲート閉鎖)時点までの時間tAにより撮影対象距離の終了地点L2が決まる。
ここで、図11の(A)に示されるように、発光時間tLがゲート時間(露光時間)tGよりも短い状態から、発光時間tLをtLまで長くする(tL>tL)と、反射光を露光できる光量のピークが上昇し、物体を明るく撮像することができる。しかし、発光終了時点から露光開始(ゲート開放)時点までの時間tAが短くなる(tA>tA)ため、撮影対象距離の開始地点L3が地点L1よりも車両Vの手前側に移動される。すなわち、発光時間が長くなると撮像対象長さが長くなり、距離分解能が低下してしまう。
また、図11の(B)に示されるように、発光時間tLがゲート時間(露光時間)tGと同じかそれよりも長い状態から、発光時間tLをさらに時間tLまで長くする(tL>tL)と、露出できる反射光量の最大光量の持続時間が長くなって物体を明るく撮像できるが、発光終了時点から露光開始時点までの時間tAが短くなるため、撮像対象長さが長くなって距離分解能が低下してしまう。
【0098】
そこで、実施例3においては、例えば、特定距離の領域が車両Vから最も近い領域である領域1に設定された場合、図12に示されるように、領域1を撮像するためのパルス光の発光時間を長くするとともに領域1を撮像する際の高速度カメラ8による露光時間を短くするように制御している。具体的には、領域1における発光時間tLをtLまで長くする(tL>tL)とともに、領域1における露光時間tGをtGまで短くする(tG>tG)。露光時間tGの短縮は、露光時間tGの開始時間を遅延させることで行われる。このように、特定距離の領域において発光時間を長くすることで露光可能な光量を増加させ特定距離領域に存在する物体を明るく撮像することができる。一方、発光時間を長くすることに伴い露光時間を短くしているため、発光時間および露光時間の変化の前後において、発光終了時点から露光開始時点までの時間tA(tA→tA)が大きく変動しないようにしている。そのため、発光時間を長くしても撮像対象長さが長くなることがない。
以上のように、特定距離の領域(例えば、領域1)においてのみ発光時間を長くしつつ露光時間を短くすることで、細かな距離分解能を維持しながら、対象物の認識精度を上げることができる。
【0099】
次に、実施例4および5について、図13および図14を参照して説明する。
上述の通り、発光時間および露光時間が短いほどターゲット距離の分解能を細かくし距離検出の精度を上げることができる。しかし、発光時間および露光時間が短いほど撮像した画像の輝度が低くなるため、所望の撮影範囲の撮像画像を網羅的に高輝度で取得するための時間がかかったり、装置のコ
ストが上がったりしてしまう。
【0100】
そこで、本出願の発明者は、上記事情を総合的に考慮して、対象道路環境のみを集中的に撮像することで、対象物の認識精度を向上させつつ、所望の撮影範囲の画像を網羅的に取得するための時間やコストの増大を防止可能であることを見出した。以下に、対象道路環境のみを集中的に撮像するための方法について詳述する。
【0101】
実施例4における対象道路環境とは、例えば、事故の起こりやすい交差点や、見通しの悪いカーブである。これらの対象道路環境は地図情報により取得される。本例においては、画像処理部3は、例えば、交差点やカーブ等の対象道路環境の有無や、車両Vから対象道路環境までの距離をナビゲーションシステム等から取得し、集中的に撮像すべき領域が決定される。
【0102】
図13は、実施例4に係る発光周期と撮像タイミングとの時間的な関係を示す図である。
実施例4においては、対象道路環境の領域を当該対象道路環境以外の領域よりも集中的に撮像するように、パルス光の発光周期および高速度カメラ8による撮像タイミングを制御する。
図13に示されるように、タイミングコントローラ9は、例えば、交差点やカーブ等の対象道路環境が領域1〜nのうち領域2,3に設定された場合、領域2,3の撮像時のパルス光の発光時間tLbおよび高速度カメラ8によるゲート開放時間(露光時間)tGbを、領域2,3以外の領域1,4〜nの撮像時の発光時間tLaおよび露光時間tGaよりも短くするように制御している。このように、対象道路環境の領域2,3においてのみ発光時間および露光時間を短くすることで、領域2,3の距離分解能を領域1,4〜nの距離分解能よりも向上させることができる。
【0103】
以上説明した実施例4の画像取得装置2によれば、以下に列挙する効果を奏する。
【0104】
(6)タイミングコントローラ9は、異なるターゲット距離領域のうち対象道路環境の領域を当該対象道路環境以外の領域よりも集中的に撮像するように、パルス光の発光周期および撮像タイミングの少なくとも一方を制御する。このように、対象道路環境の領域のみ集中的に撮像することで、対象物までの距離を精度良く把握することができ、所望の撮影範囲の画像を網羅的に取得するための時間やコストの増大を防止することができる。また、対象道路環境の領域とそれ以外の領域との輝度のコントラストがはっきりするため、対象道路環境内の認識候補の対象物の認識がしやすくなる。そのため、照明制御や車両制御の向上につなげることができる。
【0105】
(7)対象道路環境は、交差点あるいはカーブであって、地図情報より取得されることが好ましい。
事故の起こりやすい交差点や見通しの悪いカーブを地図情報から取得して集中的に撮像することで、交通事故の抑制につなげることができる。
【0106】
(8)タイミングコントローラ9は、対象道路環境の領域では対象道路環境以外の領域よりもパルス光の発光時間および高速度カメラ8による露光時間を短くすることが好ましい。
対象道路環境の領域において発光時間および露光時間を短くすることで、対象道路環境の領域の距離分解能を向上させ、対象物までの距離を精度良く把握することができる。
【0107】
[実施例5]
図14は、実施例5に係る、特定距離の領域とそれ以外の領域との発光強度の関係を示す図である。
図14に示されるように、実施例5においては、例えば、対象道路環境の領域が領域2,3と設定された場合、領域2,3の撮像時のパルス光の発光強度を、対象道路環境以外の領域1,4〜nの撮像時の発光強度よりも上げるように発光部5が制御される。このように、対象道路環境の領域2,3の発光強度を対象道路環境以外の領域1,4〜nよりも上げることで、領域2,3における撮像画像の画素の輝度が他の領域1,4〜nにおける撮像画像の画素の輝度よりも高くなるため、対象道路環境のみを集中的に明るく撮像することができる。また、対象道路環境以外の領域1,4〜nの発光強度は比較的小さい状態が維持されているため、消費電力が必要以上に増加することなく、対象物の認識精度を向上させることができる。
【0108】
[実施例6]
実施例6について、実施例3の説明で用いた図11および図12を参照して説明する。
【0109】
上述の通り、図11の(A)に示されるように、発光時間tLがゲート開放時間(露光時間)tGよりも短い状態から、発光時間tLをtLまで長くする(tL>tL)と、反射光を露光できる光量のピークが上昇し、物体を明るく撮像することができる。しかし、発光時間が長くなると撮影対象長さが長くなり、距離分解能が低下してしまう。
また、図11の(B)に示されるように、発光時間tLをさらに時間tLまで長くする(tL>tL)と、露出できる反射光量の最大光量の持続時間が長くなって物体を明るく撮像できるが、発光終了時点から露光開始時点までの時間tAが短くなるため、撮像対象長さが長くなって距離分解能が低下してしまう。
【0110】
そこで、実施例6においては、例えば、対象道路環境の領域が領域2,3に設定された場合、領域2,3を撮像する際のパルス光の発光時間を長くするとともに、領域2,3を撮像する際の高速度カメラ8による露光時間を短くするように制御している(図12参照)。具体的には、領域2,3における発光時間tLをtLまで長くする(tL>tL)とともに、領域2,3における露光時間tGをtGまで短くする(tG>tG)。露光時間tGの短縮は、露光時間tGの開始時間を遅延させることで行われる。このように、特定距離の領域において発光時間を長くすることで露光可能な光量を増加させ特定距離領域に存在する物体を明るく撮像することができる。一方、発光時間を長くすることに伴い露光時間を短くしているため、発光時間および露光時間の変化の前後において、発光終了時点から露光開始時点までの時間tA(tA→tA)が大きく変動しないようにしている。そのため、発光時間を長くしても撮像対象長さが長くなる、すなわち距離分解能が劣化することがない。
以上のように、集中的に撮像すべき特定距離の領域(例えば、領域2,3)においてのみ発光時間を長くしつつ露光時間を短くすることで、細かな距離分解能を維持しながら、対象物の認識精度を上げることができる。
【0111】
次に、実施例7および8について、図15〜20を参照して説明する。
上述の通り、発光時間および露光時間が短いほどターゲット距離の分解能を細かくし距離検出の精度を上げることができる。撮影したい距離範囲であるターゲット距離領域(例えば、自車両前方の0m〜200m)の全てを細かな距離分解能で明るく撮影できることが望ましいが、距離分解能が短いほどターゲット距離領域の撮像画像を網羅的に取得するための時間がかかったり、装置のコストが上がったりしてしまう。
【0112】
そこで、本出願の発明者は、上記事情を総合的に考慮して、ターゲット距離領域のうち物体(対象物)が存在する所望の領域を集中的に撮影することで、当該所望の領域における物体の認識精度を向上させつつ、所望の撮影範囲の画像を網羅的に取得するための時間やコストの増大を防止可能であることを見出した。以下に、所望の領域を集中的に撮像するための方法について詳述する。
【0113】
[実施例7]
図15は、実施例7に係る、物体の検索方法を示す図である。
実施例7においては、タイミングコントローラ9(検索処理制御部の一例)は、上記に示した画像取得処理の前に、自車両前方における物体の有無を検索するような検索処理シーケンスを実施する。図15に示されるように、検索処理シーケンスでは、物体の有無およびその距離を大まかに検索するための検索フレームと、所定の連続的に変化するターゲット距離領域を撮影して画像を取得するための撮影フレームとを設け、検索フレームを撮影フレームの前に配置する。検索フレームは、所定回数の検索(検索1〜n)を含む。撮影フレームは、領域1〜nの全撮像領域の撮影を含む。検索フレームは、1回の撮影フレームに対して1回、または複数回の撮影フレームに対して1回設けることができる。すなわち、図15の(A)に示すように、まず検索1〜nまでの検索フレームを実施し、次に撮影フレームを実施し、その後に再び検索フレームを実施するようにして、検索フレームと撮影フレームとを1回ずつ交互に実施することができる。また、図15の(B)に示すように、最初に検索フレームを実施し、次に撮影フレーム1から撮影フレームnまでの複数回の撮影フレームを実施し、その後に再び検索フレームを実施するようにして、複数回の撮影フレーム1〜nの実施に対して1回の検索フレームを実施する構成としてもよい。このように、実施例7においては、タイミングコントローラ9は、パルス光を出力するステップおよび反射光を撮像するステップを含む撮影フレームの前に、物体の有無を検索するステップである検索フレームを設けるように発光部5によるパルス光の発光周期および高速度カメラ8による撮像タイミングを制御可能である。
【0114】
図16は、特定距離における撮像の模式図および撮像画像である。具体的には、図16の(A)は特定距離よりも手前に対象物が無い場合の模式図および撮像画像であり、図16の(B)は、特定距離よりも手前に対象物がある場合の模式図および撮像画像である。また、図17は、実施例7に係る検索距離決定のためのシーケンス処理を示す図である。
【0115】
図16は、自車両前方の同一方向において自車両から異なる距離に複数の物体が存在している場合を例示したものである。図16の例では、手前側から順に人形1、人形2、壁が存在している。図16の(A)では、人形1の存在する領域に輝度のピークが来るようなタイミングで撮像が行われる。一方、図16の(B)では、人形2と壁との間の領域に輝度のピークが来るようなタイミングで撮像が行われる。
【0116】
図16の(A)の場合、人形1よりも手前には物体は存在していないため、人形1および人形2が視認可能に撮像された画像が取得される。一方、図16の(B)の場合、撮像可能距離(輝度を示す三角形の領域)よりも手前に人形1が存在しているため、人形1が存在する領域の画素が黒くなった(輝度値がゼロとなった)画像が取得される。
【0117】
本実施形態では、上記の特性を生かし、自車両から最も遠い領域から検索を開始するように検索処理シーケンスを行うことで、検索対象の領域が決定される。詳細には、撮影したい距離範囲(ターゲット距離領域)を自車両前方の0〜200mとしたとき、図17に示される検索1〜検索4の検索処理が行われる。
【0118】
(検索1)
まず、タイミングコントローラ9は、高速度カメラ8に、ターゲット距離領域(0〜200m)のうち自車両から遠い領域である領域a(100〜200m)を撮影させる。そして、領域aの撮像画像に真っ黒な画素領域がある場合は、タイミングコントローラ9は、高速度カメラ8に、領域aよりも近い領域(0〜100m)のうち自車両から遠い領域である領域b(50〜100m)を撮像させる。一方、領域aの撮像画像に真っ黒な画素領域が無い場合には、タイミングコントローラ9は、高速度カメラ8に、領域aのうち自車両から遠い領域である領域c(50〜100m)を撮像させる。なお、真っ黒な画素領域があるか否かの判断は、しきい値よりも低い輝度を有する画素領域のサイズや形状に基づいて判断することができる。
【0119】
(検索2)
次に、検索1の結果に基づいて、タイミングコントローラ9は、領域d〜gのいずれかの撮影処理を行う。
領域bで撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ9は、高速度カメラ8に、領域bよりも近い領域(0〜50m)のうち自車両から遠い領域である領域d(25〜50m)を撮像させる。一方、領域bの撮像画像に真っ黒な画素領域が無い場合には、タイミングコントローラ9は、高速度カメラ8に、領域bのうち自車両から遠い領域である領域e(75〜100m)を撮像させる。
領域cで撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ9は、高速度カメラ8に、領域a内で領域cよりも近い領域(100〜150m)のうち自車両から遠い領域である領域f(125〜150m)を撮像させる。一方、領域cの撮像画像に真っ黒な画素領域が無い場合には、タイミングコントローラ9は、高速度カメラ8に、領域cのうち自車両から遠い領域である領域g(175〜200m)を撮像させる。
【0120】
(検索3)
次に、検索2の結果に基づいて、タイミングコントローラ9は、領域h〜kのいずれかの撮影処理を行う。
領域dで撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ9は、高速度カメラ8に、領域dよりも近い領域(0〜25m)のうち自車両から遠い領域である領域h(12.5〜25m)を撮像させる。一方、領域dの撮像画像に真っ黒な画素領域が無い場合には、タイミングコントローラ9は、高速度カメラ8に、領域dのうち自車両から遠い領域である領域i(37.5〜50m)を撮像させる。
領域eで撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ9は、高速度カメラ8に、領域b内で領域eよりも近い領域(50〜75m)のうち自車両から遠い領域である領域j(62.5〜75m)を撮像させる。一方、領域eの撮像画像に真っ黒な画素領域が無い場合には、タイミングコントローラ9は、高速度カメラ8に、領域eのうち自車両から遠い領域である領域k(87.5〜100m)を撮像させる。
領域fで撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ9は、高速度カメラ8に、領域a内で領域fよりも近い領域(100〜125m)のうち自車両から遠い領域である領域l(112.5〜125m)を撮像させる。一方、領域fの撮像画像に真っ黒な画素領域が無い場合には、タイミングコントローラ9は、高速度カメラ8に、領域fのうち自車両から遠い領域である領域m(137.5〜150m)を撮像させる。
領域gで撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ9は、高速度カメラ8に、領域c内で領域gよりも近い領域(150〜175m)のうち自車両から遠い領域である領域n(162.5〜175m)を撮像させる。一方、領域gの撮像画像に真っ黒な画素領域が無い場合には、タイミングコントローラ9は、高速度カメラ8に、領域gのうち自車両から遠い領域である領域o(187.5〜200m)を撮像させる。
【0121】
(検索4)
最後に、検索3の結果に基づいて、タイミングコントローラ9は、対象物の存在する領域を決定する。
領域h(12.5〜25m)で撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ9は、0〜12.5mの領域に対象物が存在すると決定する。一方、領域hで撮像された画像に真っ黒な画素領域が無い場合には、タイミングコントローラ9は、12.5〜25mの領域に対象物が存在すると決定する。
領域i(37.5〜50m)で撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ9は、25〜37.5mの領域に対象物が存在すると決定する。一方、領域iで撮像された画像に真っ黒な画素領域が無い場合には、タイミングコントローラ9は、37.5〜50mの領域に対象物が存在すると決定する。
領域j(62.5〜75m)で撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ9は、50〜62.5mの領域に対象物が存在すると決定する。一方、領域jで撮像された画像に真っ黒な画素領域が無い場合には、タイミングコントローラ9は、62.5〜75mの領域に対象物が存在すると決定する。
領域k(87.5〜100m)で撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ9は、75〜87.5mの領域に対象物が存在すると決定する。一方、領域kで撮像された画像に真っ黒な画素領域が無い場合には、タイミングコントローラ9は、87.5〜100mの領域に対象物が存在すると決定する。
領域l(112.5〜125m)で撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ9は、100〜112.5mの領域に対象物が存在すると決定する。一方、領域lで撮像された画像に真っ黒な画素領域が無い場合には、タイミングコントローラ9は、112.5〜125mの領域に対象物が存在すると決定する。
領域m(137.5〜150m)で撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ9は、125〜137.5mの領域に対象物が存在すると決定する。一方、領域mで撮像された画像に真っ黒な画素領域が無い場合には、タイミングコントローラ9は、137.5〜150mの領域に対象物が存在すると決定する。
領域n(162.5〜175m)で撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ9は、150〜162.5mの領域に対象物が存在すると決定する。一方、領域nで撮像された画像に真っ黒な画素領域が無い場合には、タイミングコントローラ9は、162.5〜175mの領域に対象物が存在すると決定する。
領域o(187.5〜200m)で撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ9は、175〜187.5mの領域に対象物が存在すると決定する。一方、領域oで撮像された画像に真っ黒な画素領域が無い場合には、タイミングコントローラ9は、187.5〜200mの領域に対象物が存在すると決定する。
【0122】
上記の検索処理シーケンスにおいて、例えば、真っ黒な画素領域が検索1〜検索4のいずれでも「有」である場合、0〜12.5mの領域に対象物があると判断される。また、例えば、真っ黒な画素領域が検索1では「無」、検索2では「有」、検索3では「無」、検索4では「有」である場合、125〜137.5mの領域に対象物があると判断される。
このように、実施例7に係る検索処理シーケンスでは4フレームの検索により距離分解能12.5mで自車両から最も近い距離にある対象物を検索することができる。
【0123】
検索フレームを用いた検索処理シーケンスにおいて、自車両から最も近い距離にある対象物の領域が決定されると、タイミングコントローラ9は、当該対象物が存在する領域を集中的に撮影するように制御する。具体的には、図18の(A)〜(C)に示すように、例えば対象物が存在する領域が領域1〜nのうち領域1である場合、領域1の発光回数および露光回数を他の領域2〜nよりも増やしたり、領域1の発光強度を領域2〜nの発光強度よりも上げたり、領域1の発光時間を露光時間よりも長くしたりすることによって、領域1を集中的に撮影することができる。なお、最も近い距離にある対象物が存在しない領域2〜nについては距離画像データの生成に要する時間およびコストの削減のため、必要以上に発光回数や発光時間を増加したり発光強度を上げないようにしている。
【0124】
以上説明した実施例7の画像取得装置2および当該装置により実施される画像取得方法によれば、以下に列挙する効果を奏する。
【0125】
(9)タイミングコントローラ9は、パルス光を発光しパルス光の反射光を撮像することで画像を取得するステップを実行する前に、対象物の有無を検索するステップを実行する。このように、予め対象物の有無を検索するステップを備えることで、画像を取得するステップにおいてターゲット距離領域のうち対象物の存在する距離領域を集中的に撮影することができる。そのため、物体認識の精度を向上させることができるとともに、ターゲット距離領域の撮像画像を網羅的に取得するための時間やコストの増大を防止することができる。
【0126】
(10)対象物の有無を検索するステップは、対象物の有無およびその距離を検索するための検索フレームを、所定の連続的に変化する距離領域を撮影するための撮影フレームの前に設けることが好ましい。この構成によれば、容易な方法により画像取得処理の前に対象物の有無を検索することができる。
【0127】
(11)対象物の有無を検索するステップは、ターゲット距離領域を自車両に近い近傍領域と自車両から遠い遠方領域とに区分けし、遠方領域を最初の検索領域と設定し、遠方領域からの反射光が撮像された遠方領域の画像に所定の画像領域が含まれるか否かを判断し、所定の画像領域の有無によって次の検索領域を決定することで自車両から最も近い対象物の距離を検出することを含むことが好ましい。この構成によれば、少ないフレーム数で最も近い距離にある対象物を検索することができる。
【0128】
(12)所定の画像領域は、輝度値がしきい値以下の画素領域であることが好ましい。この構成によれば、簡便な処理により対象物の有無を検索することができる。
【0129】
[実施例8]
図19は、実施例8に係る検索距離決定のためのシーケンス処理を示す図である。
実施例8においては、実施例7と同様に、撮影したい距離範囲(ターゲット距離領域)は例えば自車両前方の0〜200mと設定されている。
【0130】
(検索1)
図19に示されるように、まず、タイミングコントローラ9は、発光部5を1回発光させ、1回の露光(ゲート開閉動作)を行う。この1回の露光は、自車両から遠い領域である領域a(100〜200m)を撮影できるようにその露光タイミングおよび露光時間が制御される。そして、検索1として、タイミングコントローラ9は、領域a(100〜200m)の撮像画像における真っ黒な画素領域の有無を検出し、領域aに物体があるかを判断する。
【0131】
(検索2)
次に、タイミングコントローラ9は、発光部5を2回発光させ、1回の露光(ゲート開閉動作)を行う。この1回の露光は、2回の発光による反射光をそれぞれ受光して領域b(50〜100m)および領域c(150〜200m)を撮像できるようにその露光タイミングおよび露光時間が制御される。そして、検索2として、タイミングコントローラ9は、領域b(50〜100m)および領域c(150〜200m)の撮像画像における真っ黒な画素領域の有無を検出し、領域bまたは領域cに物体があるかを判断する。
【0132】
(検索3)
次に、タイミングコントローラ9は、発光部5を4回発光させ、1回の露光(ゲート開閉動作)を行う。この1回の露光は、4回の発光による反射光をそれぞれ受光して領域d(25〜50m)、領域e(75〜100m)、領域f(125〜150m)および領域g(175〜200m)を撮像できるようにその露光タイミングおよび露光時間が制御される。そして、検索3として、タイミングコントローラ9は、領域d(25〜50m)、領域e(75〜100m)、領域f(125〜150m)および領域g(175〜200m)の撮像画像における真っ黒な画素領域の有無を検出し、領域d〜gのいずれかに物体があるかを判断する。
【0133】
(検索4)
次に、タイミングコントローラ9は、発光部5を8回発光させ、1回の露光(ゲート開閉動作)を行う。この1回の露光は、領域h(12.5〜25m)、領域i(37.5〜50m)、領域j(62.5〜75m)、領域k(87.5〜100m)、領域l(112.5〜125m)、領域m(137.5〜150m)、領域n(162.5〜175m)および領域o(187.5〜200m)を撮像できるようにその露光タイミングおよび露光時間が制御される。そして、検索4として、タイミングコントローラ9は、領域h(12.5〜25m)、領域i(37.5〜50m)、領域j(62.5〜75m)、領域k(87.5〜100m)、領域l(112.5〜125m)、領域m(137.5〜150m)、領域n(162.5〜175m)および領域o(187.5〜200m)の撮像画像における真っ黒な画素領域の有無を検出し、領域h〜oのいずれかに物体があるかを判断する。
【0134】
実施例8に係る検索処理シーケンスにおいて、例えば、真っ黒な画素領域が検索1〜検索4のいずれでも「有」である場合、0〜12.5mの領域に対象物があると判断される。また、例えば、真っ黒な画素領域が検索1では「無」、検索2では「有」、検索3では「無」、検索4では「有」である場合、125〜137.5mの領域に対象物があると判断される。
このように、実施例8に係る検索処理シーケンスでは4フレームの検索により距離分解能12.5mで自車両から最も近い距離にある対象物を検索することができる。
【0135】
なお、図19に示す実施例8の構成では複数回の発光を1回の露光で撮像することで対象物が存在する領域を測定するようにしているが、この構成に限られない。例えば、図20に示すように、1回の発光に対して検索対象領域に応じて複数回の露光を行うことで、対象物が存在する領域を測定するようにしても良い。図20に示すシーケンス処理によっても、4フレームの検索により自車両から最も近い距離にある対象物を検索することができる。
【0136】
以上説明した実施例8では、対象物有無を検索するために、パルス光の複数回の発光または反射光の複数回の撮影によって対象物が存在する距離領域を絞り込むように構成されている。この構成によれば、実施例7と同様に、少ないフレーム数で最も近い距離にある対象物を検索することができる。
【0137】
以上、本開示を実施するための形態を、実施例に基づき説明したが、本開示の具体的な構成については、実施例の構成に限らず、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計変更や追加等は許容される。
【0138】
例えば、撮像対象長さ、撮像対象距離の変化量、ターゲット距離領域ごとのフレーム数などは、高速度カメラ8や画像処理部3の性能に応じて適宜設定することができる。
【0139】
上記実施の形態では、図1に示されるように、高速度カメラ8が画像取得部として機能する構成としているが、この例に限られない。例えば、画像取得部としての機能を画像処理部3が有していても良く、あるいは高速度カメラ8と画像処理部3との間に画像取得部として撮像画像を格納する別個のメモリが設けられても良い。
【0140】
上記実施の形態では、図1に示されるように、対物レンズ6と高速度カメラ8との間に光増倍部7(ゲート7a、イメージインテンシファイア7b)が設けられた構成としているが、この例に限られない。例えば、光増倍部7を設けず、高速度カメラ8内で所定の撮像タイミングでゲーティングを行って複数の撮像画像を取得することも可能である。
【0141】
上記実施の形態では、画像処理部3により距離画像データを生成することで物体認識を行う構成としているが、高速度カメラ8で撮像された個々のターゲット距離の撮像画像から物体認識を行っても良い。
【0142】
本出願は、2015年12月21日出願の日本特許出願・出願番号2015−248820と、2015年12月21日出願の日本特許出願・出願番号2015−248821と、2015年12月21日出願の日本特許出願・出願番号2015−248822とに基づくものであり、その内容はここに参照として取り込まれる。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20