特許 7563351 車両検出装置、車両検出方法、及び車両検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】車両検出装置、車両検出方法、及び車両検出プログラム

(51)【国際特許分類】

   G01S 17/86 20200101AFI20241001BHJP

   G01S 17/04 20200101ALI20241001BHJP

   G01S 17/931 20200101ALI20241001BHJP

   G08G 1/16 20060101ALN20241001BHJP

【ＦＩ】

G01S17/86

G01S17/04

G01S17/931

G08G1/16 C

【請求項の数】 11

(21)【出願番号】P 2021153459

(22)【出願日】2021-09-21

(65)【公開番号】P2023045193

(43)【公開日】2023-04-03

【審査請求日】2024-02-14

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】山▲崎▼ 駿

(72)【発明者】

【氏名】大石 智之

【審査官】九鬼 一慶

(56)【参考文献】

【文献】特開平０８－０６２３３５（ＪＰ，Ａ）

【文献】特開２０１３－０３１０５４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０１０６８００（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８ － ７／５１

Ｇ０１Ｓ １７／００ －１７／９５

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

検出エリアに照射した光の反射光を受光素子（３２１）にて検出することにより得られる反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を受光素子（３２１，６１１）にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得部（４０１，４０１ａ）と、
前記画像取得部で取得した前記背景光画像から、車両らしいと推定される車両領域と前記反射光の強度が高くなる傾向がある特定の車両部位らしいと推定されるパーツ領域とを、区別して検出する区別検出部（４０２）と、
前記区別検出部で検出した前記車両領域について、前記画像取得部で取得した前記背景光画像と前記反射光画像とのそれぞれの光強度の高低を特定する強度特定部（４０５）と、
前記区別検出部で検出した前記パーツ領域について、前記画像取得部で取得した前記反射光画像での強度分布から、前記パーツ領域の配置の妥当性を判断する妥当性判断部（４０６）と、
前記強度特定部で特定した前記背景光画像と前記反射光画像とのそれぞれの光強度の高低、及び前記妥当性判断部で判断した前記パーツ領域の配置の妥当性を用いて、車両を検出する車両検出部（４０７）とを備える車両検出装置。

【請求項2】

請求項１に記載の車両検出装置であって、
前記画像取得部で取得した前記背景光画像及び前記反射光画像のうちの少なくともいずれかを間接的に用いた３Ｄ検出処理、若しくは前記画像取得部で取得した前記反射光画像を直接的に用いた３Ｄ検出処理によって検出する３次元の物標をもとに、車両の認識を行う車両認識部（４０４）を備え、
前記車両検出部は、前記車両認識部で車両を認識できた場合には、車両を検出する一方、前記車両認識部で車両を認識できなかった場合であっても、前記強度特定部で特定した前記背景光画像と前記反射光画像とのそれぞれの光強度の高低、及び前記妥当性判断部で判断した前記パーツ領域の配置の妥当性を用いて、車両を検出する車両検出装置。

【請求項3】

請求項１又は２に記載の車両検出装置であって、
前記車両検出部は、前記強度特定部で前記反射光画像の光強度が高いことを特定した場合には、車両を検出する車両検出装置。

【請求項4】

請求項３に記載の車両検出装置であって、
前記車両検出部は、前記強度特定部で前記反射光画像と前記背景光画像とのうちの前記反射光画像の光強度だけが低いことを特定した場合には、車両を検出しない一方、前記強度特定部で前記反射光画像と前記背景光画像とのいずれの光強度も低いことを特定した場合には、車両を検出する車両検出装置。

【請求項5】

請求項４に記載の車両検出装置であって、
前記車両検出部は、前記妥当性判断部で前記パーツ領域の配置の妥当性がないと判断した場合、及び前記妥当性判断部で前記パーツ領域の配置の妥当性があると判断し、且つ、前記強度特定部で前記反射光画像と前記背景光画像とのうちの前記反射光画像の光強度だけが低いことを特定した場合には、車両を検出しない一方、前記妥当性判断部で前記パーツ領域の配置の妥当性があると判断し、且つ、前記強度特定部で前記反射光画像と前記背景光画像とのいずれの光強度も低いことを特定した場合には、車両を検出する車両検出装置。

【請求項6】

請求項３に記載の車両検出装置であって、
前記車両検出部は、前記妥当性判断部で前記パーツ領域の妥当性がないと判断した場合には、車両を検出しない一方、前記妥当性判断部で前記パーツ領域の配置の妥当性があると判断した場合には、車両を検出する車両検出装置。

【請求項7】

請求項１～６のいずれか１項に記載の車両検出装置であって、
前記妥当性判断部は、前記区別検出部で検出した前記パーツ領域について、前記画像取得部で取得した前記反射光画像での強度分布が、車両における前記車両部位の前記反射光の強度分布として予め定められた強度分布である典型強度分布に類似し、且つ、車両における前記車両部位の位置関係及び前記車両部位間の位置関係の少なくともいずれかの位置関係として予め定められた位置関係である典型位置関係と整合する場合に、前記パーツ領域の配置の妥当性があると判断する一方、前記画像取得部で取得した前記反射光画像での強度分布が、前記典型強度分布に類似しない場合、及び前記典型位置関係と整合しない場合に、前記パーツ領域の配置の妥当性がないと判断する車両検出装置。

【請求項8】

請求項１～７のいずれか１項に記載の車両検出装置であって、
前記画像取得部（４０１）は、前記検出エリアに照射した光の反射光を、可視外領域に感度を持つ受光素子にて検出することにより得られる、反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を、前記受光素子と同一の受光素子にて前記反射光の検出と異なるタイミングで検出することにより得られる、環境光の強度分布を表す背景光画像とを取得する車両検出装置。

【請求項9】

請求項１～７のいずれか１項に記載の車両検出装置であって、
前記画像取得部（４０１ａ）は、前記検出エリアに照射した光の反射光を、可視外領域に感度を持つ受光素子にて検出することにより得られる、反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を、その受光素子とは異なる可視領域に感度を持つ受光素子にて検出することにより得られる、環境光の強度分布を表す背景光画像とを取得する車両検出装置。

【請求項10】

少なくとも１つのプロセッサにより実行される、
検出エリアに照射した光の反射光を受光素子（３２１）にて検出することにより得られる反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を受光素子（３２１，６１１）にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得工程と、
前記画像取得工程で取得した前記背景光画像から、車両らしいと推定される車両領域と前記反射光の強度が高くなる傾向がある特定の車両部位らしいと推定されるパーツ領域とを、区別して検出する区別検出工程と、
前記区別検出工程で検出した前記車両領域について、前記画像取得工程で取得した前記背景光画像と前記反射光画像とのそれぞれの光強度の高低を特定する強度特定工程と、
前記区別検出工程で検出した前記パーツ領域について、前記画像取得工程で取得した前記反射光画像での強度分布から、前記パーツ領域の配置の妥当性を判断する妥当性判断工程と、
前記強度特定工程で特定した前記背景光画像と前記反射光画像とのそれぞれの光強度の高低、及び前記妥当性判断工程で判断した前記パーツ領域の配置の妥当性を用いて、車両を検出する車両検出工程とを含む車両検出方法。

【請求項11】

少なくとも１つのプロセッサに、
検出エリアに照射した光の反射光を受光素子（３２１）にて検出することにより得られる反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を受光素子（３２１，６１１）にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得工程と、
前記画像取得工程で取得した前記背景光画像から、車両らしいと推定される車両領域と前記反射光の強度が高くなる傾向がある特定の車両部位らしいと推定されるパーツ領域とを、区別して検出する区別検出工程と、
前記区別検出工程で検出した前記車両領域について、前記画像取得工程で取得した前記背景光画像と前記反射光画像とのそれぞれの光強度の高低を特定する強度特定工程と、
前記区別検出工程で検出した前記パーツ領域について、前記画像取得工程で取得した前記反射光画像での強度分布から、前記パーツ領域の配置の妥当性を判断する妥当性判断工程と、
前記強度特定工程で特定した前記背景光画像と前記反射光画像とのそれぞれの光強度の高低、及び前記妥当性判断工程で判断した前記パーツ領域の配置の妥当性を用いて、車両を検出する車両検出工程とを含む処理を実行させる車両検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両検出装置、車両検出方法、及び車両検出プログラムに関するものである。

【背景技術】

【0002】

特許文献１には、照射光Ｌｚの反射光の受光強度を各画素の画素値とする反射強度画像を用いて、車両等の物体を検出する技術が開示されている。特許文献１には、反射強度が所定の強度以上の画素が測距点ＯＰとして得られることが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１６５６７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、車両が検出対象の場合、車両表面の汚れ，色といった要因によって、反射光の強度が低下してしまう。よって、測距点が少量しか得られず、車両を精度良く検出することが難しくなってしまうおそれがあった。

【0005】

この開示のひとつの目的は、反射光の受光強度を表す画像を車両の検出に用いる場合であっても、車両を精度良く検出することを可能にする車両検出装置、車両検出方法、及び車両検出プログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、開示の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

【0007】

上記目的を達成するために、本開示の車両検出装置は、検出エリアに照射した光の反射光を受光素子（３２１）にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光を受光素子（３２１，６１１）にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得部（４０１，４０１ａ）と、画像取得部で取得した背景光画像から、車両らしいと推定される車両領域と反射光の強度が高くなる傾向がある特定の車両部位らしいと推定されるパーツ領域とを、区別して検出する区別検出部（４０２）と、区別検出部で検出した車両領域について、画像取得部で取得した背景光画像と反射光画像とのそれぞれの光強度の高低を特定する強度特定部（４０５）と、区別検出部で検出したパーツ領域について、画像取得部で取得した反射光画像での強度分布から、パーツ領域の配置の妥当性を判断する妥当性判断部（４０６）と、強度特定部で特定した背景光画像と反射光画像とのそれぞれの光強度の高低、及び妥当性判断部で判断したパーツ領域の配置の妥当性を用いて、車両を検出する車両検出部（４０７）とを備える。

【0008】

上記目的を達成するために、本開示の車両検出方法は、少なくとも１つのプロセッサにより実行される、検出エリアに照射した光の反射光を受光素子（３２１）にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光を受光素子（３２１，６１１）にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得工程と、画像取得工程で取得した背景光画像から、車両らしいと推定される車両領域と反射光の強度が高くなる傾向がある特定の車両部位らしいと推定されるパーツ領域とを、区別して検出する区別検出工程と、区別検出工程で検出した車両領域について、画像取得工程で取得した背景光画像と反射光画像とのそれぞれの光強度の高低を特定する強度特定工程と、区別検出工程で検出したパーツ領域について、画像取得工程で取得した反射光画像での強度分布から、パーツ領域の配置の妥当性を判断する妥当性判断工程と、強度特定工程で特定した背景光画像と反射光画像とのそれぞれの光強度の高低、及び妥当性判断工程で判断したパーツ領域の配置の妥当性を用いて、車両を検出する車両検出工程とを含む。

【0009】

上記目的を達成するために、本開示の車両検出プログラムは、少なくとも１つのプロセッサに、検出エリアに照射した光の反射光を受光素子（３２１）にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光を受光素子（３２１，６１１）にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得工程と、画像取得工程で取得した背景光画像から、車両らしいと推定される車両領域と反射光の強度が高くなる傾向がある特定の車両部位らしいと推定されるパーツ領域とを、区別して検出する区別検出工程と、区別検出工程で検出した車両領域について、画像取得工程で取得した背景光画像と反射光画像とのそれぞれの光強度の高低を特定する強度特定工程と、区別検出工程で検出したパーツ領域について、画像取得工程で取得した反射光画像での強度分布から、パーツ領域の配置の妥当性を判断する妥当性判断工程と、強度特定工程で特定した背景光画像と反射光画像とのそれぞれの光強度の高低、及び妥当性判断工程で判断したパーツ領域の配置の妥当性を用いて、車両を検出する車両検出工程とを含む処理を実行させる。

【0010】

これによれば、検出エリアについての背景光画像と反射光画像とのそれぞれの光強度の高低、及びパーツ領域の妥当性を用いて、車両を検出することになる。検出エリアに車両が位置するか否かで、背景光画像と反射光画像とのそれぞれの光強度の高低の傾向として取り得るパターンが絞られる。よって、検出エリアについての背景光画像と反射光画像とのそれぞれの光強度の高低を用いて車両を検出することで、車両をより精度良く検出することが可能になる。また、パーツ領域は、反射光の強度が高くなる傾向がある特定の車両部位らしいと推定される領域であるので、車両の車体が低反射率の車体であっても反射光の強度が高くなりやすいと推定される。よって、反射光画像での強度分布も、その特定の車両部位の配置に応じた分布が認められる可能性が高い。従って、反射光画像での強度分布からパーツ領域の配置の妥当性を用いることで、車両をより精度良く検出することが可能になる。その結果、反射光の受光強度を表す画像を車両の検出に用いる場合であっても、車両を精度良く検出することが可能になる。

【図面の簡単な説明】

【0011】

【図1】車両用システム１の概略的な構成の一例を示す図である。

【図2】画像処理装置４の概略的な構成の一例を示す図である。

【図3】背景光画像における車両領域とパーツ領域との一例を示す図である。

【図4】車両領域についての反射光画像と背景光画像との光強度と、推定される車両領域の状態の検出との関係について説明するための図である。

【図5】処理部４１での車両検出関連処理の流れの一例を示すフローチャートである。

【図6】車両用システム１の概略的な構成の一例を示す図である。

【図7】画像処理装置４の概略的な構成の一例を示す図である。

【発明を実施するための形態】

【0012】

図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。

【0013】

＜車両用システム１の概略構成＞
車両用システム１は、車両で用いることが可能なものである。車両用システム１は、図１に示すように、センサユニット２及び自動運転ＥＣＵ５を含む。車両用システム１を用いる車両は、必ずしも自動車に限るものではないが、以下では自動車に用いる場合を例に挙げて説明を行う。車両用システム１を用いる車両を以下では自車と呼ぶ。

【0014】

自動運転ＥＣＵ５は、センサユニット２から出力される情報に基づき、自車の周囲の走行環境を認識する。自動運転ＥＣＵ５は、認識した走行環境に基づき、自動運転機能によって自車を自動走行させるための走行計画を生成する。そして、自動運転ＥＣＵ５は、走行制御を行うＥＣＵと連携して自動走行を実現させる。ここで言うところの自動走行は、加減速制御及び操舵制御のいずれもシステムが代行する自動走行であってもよいし、これらの一部をシステムが代行する自動走行であってもよい。

【0015】

センサユニット２は、図１に示すように、ＬｉＤＡＲ装置３及び画像処理装置４を含む。センサユニットは、センサパッケージと言い換えることもできる。ＬｉＤＡＲ装置３は、自車周辺の所定の範囲に光を照射し、その光が物標によって反射された反射光を検出する光学センサである。この所定の範囲は、任意に設定可能である。以下では、ＬｉＤＡＲ装置３の測定対象とする範囲を検出エリアと呼ぶ。ＬｉＤＡＲ装置３は、ＳＰＡＤ（Single Photon Avalanche Diode） ＬｉＤＡＲとすればよい。ＬｉＤＡＲ装置３の概略構成については後述する。

【0016】

画像処理装置４は、ＬｉＤＡＲ装置３と接続される。画像処理装置４は、ＬｉＤＡＲ装置３から出力される後述の反射光画像及び背景光画像といった画像データを取得し、これらの画像データから物標を検出する。以下では、画像処理装置４で車両を検出する構成について説明を行う。画像処理装置４の概略構成については後述する。

【0017】

＜ＬｉＤＡＲ装置３の概略構成＞
ここで、図１を用いて、ＬｉＤＡＲ装置３の概略構成について説明する。図１に示すように、ＬｉＤＡＲ装置３は、発光部３１、受光部３２、及び制御ユニット３３を備える。

【0018】

発光部３１は、光源から発光された光ビームを、可動光学部材を用いて走査することにより、検出エリアへ向けて照射する。可動光学部材としては、例えばポリゴンミラーが挙げられる。光源としては、例えば半導体レーザを用いればよい。発光部３１は、制御ユニット３３からの電気信号に応じて、例えば可視外領域の光ビームをパルス状に照射する。可視外領域とは、人間から視認不能な波長域である。一例として、発光部３１は、可視外領域の光ビームとして近赤外域の光ビームを照射すればよい。

【0019】

受光部３２は、受光素子３２１を有している。なお、受光部３２は、集光レンズも有する構成とすればよい。集光レンズは、検出エリア内の物標によって反射された光ビームの反射光、及び反射光に対する背景光を集光し、受光素子３２１に入射させる。受光素子３２１は、光電変換により光を電気信号に変換する素子である。受光素子３２１は、可視外領域に感度を持つものとする。受光素子３２１としては、光ビームの反射光を効率的に検出するため、可視域に対して近赤外域の感度が高く設定されたＣＭＯＳセンサを用いればよい。受光素子３２１の各波長域に対する感度は、光学フィルタによって調整されてもよい。受光素子３２１は、１次元方向又は２次元方向にアレイ状に配列された複数の受光画素を有しているものとすればよい。個々の受光画素は、ＳＰＡＤを用いた構成とすればよい。この受光画素は、フォトンの入射で発生した電子をアバランシェ倍増によって増幅することにより、高感度な光検出を可能にしているものとすればよい。

【0020】

制御ユニット３３は、発光部３１及び受光部３２を制御する。制御ユニット３３は、例えば受光素子３２１と共通の基板上に配置すればよい。制御ユニット３３は、例えばマイクロコントローラ（以下、マイコン）又はＦＰＧＡ（Field-Programmable Gate Array）等の広義のプロセッサを主体に構成されている。制御ユニット３３は、走査制御機能、反射光測定機能、及び背景光測定機能を実現している。

【0021】

走査制御機能は、発光部３１による光ビームの走査を制御する機能である。制御ユニット３３は、ＬｉＤＡＲ装置３に設けられたクロック発振器の動作クロックに基づいたタイミングにて、光源から光ビームをパルス状に複数回発振させる。加えて制御ユニット３３は、光ビームの照射に同期させて、可動光学部材を動作させる。

【0022】

反射光測定機能は、光ビームの走査のタイミングに合わせて、個々の受光画素にて受光された反射光に基づく電圧値を読み出し、反射光の強度を測定する機能である。制御ユニット３３は、受光素子３２１の出力パルスにおけるピークの発生タイミングにより、反射光の到来時刻を感知する。制御ユニット３３は、光源からの光ビームの射出時刻と反射光の到来時刻との時間差を計測することにより、光の飛行時間（Time of Flight）を測定する。

【0023】

以上の走査制御機能及び反射光測定機能の連携により、画像状のデータである反射光画像が生成される。制御ユニット３３は、ローリングシャッター方式で反射光を測定し、反射光画像を生成すればよい。詳しくは、以下の通りである。制御ユニット３３は、例えば水平方向への光ビームの走査に合わせて、検出エリアに対応した画像平面上にて横方向に並ぶ画素群の情報を、一行又は複数行ずつ生成する。制御ユニット３３は、行ごとに順次生成した画素情報を縦方向に合成し、１つの反射光画像を生成する。

【0024】

反射光画像は、発光部３１からの光照射に応じた反射光を受光素子３２１が検出することによって得られる距離情報を含む画像データである。反射光画像の各画素には、光の飛行時間を示す値が含まれている。光の飛行時間を示す値は、ＬｉＤＡＲ装置３から検出エリアに位置する物体の反射点までの距離を示す距離値と言い換えることもできる。また、反射光画像の各画素には、反射光の強度を示す値が含まれている。反射光の強度分布は、諧調値化によって輝度分布としてデータ化されるものとすればよい。つまり、反射光画像は、反射光の輝度分布を表す画像データとなる。反射光画像は、物標からの反射光の強度を画素値化した画像と言い換えることもできる。

【0025】

背景光測定機能は、反射光を測定する直前のタイミングにて、各受光画素が受光した環境光に基づく電圧値を読み出し、環境光の強度を測定する機能である。ここで言うところの環境光とは、反射光を実質的に含まない、検出エリアから受光素子３２１へ入射する入射光を意味する。入射光は、自然光、外界の表示等から入射する表示光等が含まれる。以下では、環境光を背景光と呼ぶ。背景光画像は、物標表面の明るさを画素値化した画像と言い換えることもできる。

【0026】

制御ユニット３３は、反射光画像と同様に、ローリングシャッター方式で背景光を測定し、背景光画像を生成する。背景光の強度分布は、諧調値化によって輝度分布としてデータ化されるものとすればよい。背景光画像は、光照射前での背景光の輝度分布を表す画像データであり、反射光画像と同一の受光素子３２１により検出される背景光の輝度情報を含んでいる。つまり、背景光画像において２次元状に並ぶ各画素の値は、検出エリアの対応する箇所における背景光の強度を示す輝度値である。

【0027】

反射光画像及び背景光画像は、共通の受光素子３２１により感知され、受光素子３２１を含む共通の光学系から取得される。従って、反射光画像の座標系と背景光画像の座標系とは、互いに一致する同座標系とみなすことができる。加えて、反射光画像と背景光画像との間には、測定タイミングのずれが殆どないものとする。例えば、測定タイミングのずれは、１ｎｓ未満とする。よって、連続的に取得された一組の反射光画像と背景光画像とは、時刻同期もとれているとみなし得る。また、反射光画像及び背景光画像は、個々の画素同士の対応を一義的に取ることが可能となっている。制御ユニット３３は、反射光画像及び背景光画像を、各画素に対応して、反射光の強度、物体までの距離、及び背景光の強度の３チャンネルのデータを含む一体的な画像データとして、画像処理装置４へ逐次出力する。

【0028】

＜画像処理装置４の概略構成＞
続いて、図１及び図２を用いて、画像処理装置４の概略構成を説明する。図１に示すように、画像処理装置４は、処理部４１、ＲＡＭ４２、記憶部４３、及び入出力インターフェース（以下、Ｉ／О）４４を備えた演算回路を主体として含む電子制御装置である。処理部４１、ＲＡＭ４２、記憶部４３、及びＩ／О４４は、バスで接続される構成とすればよい。

【0029】

処理部４１は、ＲＡＭ４２と結合された、演算処理のためのハードウェアである。処理部４１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ等の演算コアを少なくとも１つ含んでいる。処理部４１は、他の専用機能を備えたＩＰコア等をさらに含んでなる画像処理チップとして構成可能である。こうした画像処理チップは、自動運転用途専用に設計されたＡＳＩＣ（Application Specific Integrated Circuit）であってよい。処理部４１は、ＲＡＭ４２へのアクセスにより、後述する各機能ブロックの機能を実現するための種々の処理を実行する。

【0030】

記憶部４３は、不揮発性の記憶媒体を含む構成である。この記憶媒体は、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスク等によって実現される。記憶部４３には、処理部４１によって実行される車両検出プログラム等の種々のプログラムが格納されている。

【0031】

図２に示すように、画像処理装置４は、画像取得部４０１、区別検出部４０２、３Ｄ検出処理部４０３、車両認識部４０４、強度特定部４０５、妥当性判断部４０６、及び車両検出部４０７を機能ブロックとして備える。この画像処理装置４が車両検出装置に相当する。また、コンピュータによって画像処理装置４の各機能ブロックの処理が実行されることが、車両検出方法が実行されることに相当する。なお、画像処理装置４が実行する機能の一部又は全部を、１つ或いは複数のＩＣ等によりハードウェア的に構成してもよい。また、画像処理装置４が備える機能ブロックの一部又は全部は、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。

【0032】

画像取得部４０１は、ＬｉＤＡＲ装置３から出力されてくる反射光画像及び背景光画像を逐次取得する。つまり、画像取得部４０１は、検出エリアに照射した光の反射光を受光素子３２１にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光を受光素子３２１にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する。この画像取得部４０１での処理が画像取得工程に相当する。

【0033】

本実施形態では、画像取得部４０１は、検出エリアに照射した光の反射光を可視外領域に感度を持つ受光素子３２１にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光をその受光素子３２１にて反射光の検出と異なるタイミングで検出することにより得られる環境光の強度分布を表す背景光画像とを取得することになる。ここで言うところの異なるタイミングとは、時刻が反射光を測定するタイミングと完全一致はしないが反射光画像と背景光画像との時刻同期がとれているとみなせる程度に僅かにずれたタイミングである。例えば、反射光を測定する直前のタイミングであって、反射光を測定するタイミングとのずれが１ｎｓ未満のタイミングとすればよい。つまり、画像取得部４０１は、前述の時刻同期がとれている反射光画像及び背景光画像を互いに紐付けて取得するものとする。

【0034】

区別検出部４０２は、画像取得部４０１で取得した背景光画像から、車両領域とパーツ領域とを区別して検出する。この区別検出部４０２での処理が区別検出工程に相当する。パーツ領域とは、反射光の強度が高くなる傾向がある特定の車両部位（以下、特定車両部位）らしいと推定される領域である。この特定車両部位は、タイヤホイール、リフレクタ、ナンバープレート等とすればよい。以下では、特定車両部位がタイヤホイールである場合を例に挙げて説明する。車両領域は、車両らしいと推定される領域である。車両領域は、車両全体の領域とすればよい。図３に例を示す。図３のＶＲが車両領域であり、ＰＲがパーツ領域である。車両領域は、パーツ領域も含む構成とすればよい。区別検出部４０２で検出される車両領域及びパーツ領域は、それぞれ車両及び特定車両部位と推定される領域であって、車両及び特定車両部位でない場合もあり得る。

【0035】

区別検出部４０２は、車両領域とパーツ領域とを、画像認識技術によって区別して検出すればよい。例えば、車両全体の画像を車両領域の教師情報とし、特定車両部位の画像をパーツ領域の教師情報として機械学習を行った学習器を用いて、上述の検出を行えばよい。なお、区別検出部４０２は、背景光画像と時刻同期がとれている反射光画像からも、車両領域とパーツ領域とを区別して検出する。区別検出部４０２は、背景光画像と反射光画像との各画素が対応付けられていることを利用して、背景光画像から検出した車両領域とパーツ領域との画像中の位置をもとに、反射光画像から車両領域とパーツ領域とを検出すればよい。

【0036】

また、区別検出部４０２は、反射光画像についても、車両全体の画像を車両領域の教師情報とし、特定車両部位の画像をパーツ領域の教師情報として機械学習を行った学習器を用いて、車両領域とパーツ領域とを区別して検出してもよい。この場合、背景光画像と反射光画像とのいずれについても検出結果が得られた場合に、検出スコアが高い方の検出結果を採用する等すればよい。他にも、反射光画像から、背景光画像を用いて外乱光強度を除いた画像に対して、上述の処理を行ってもよい。

【0037】

３Ｄ検出処理部４０３は、３次元点群から３次元の物標を検出する。３Ｄ検出処理部４０３は、Ｆ－ＰｏｉｎｔＮｅｔやＰｏｉｎｔＰｉｌｌａｒｓ等の３Ｄ検出処理によって、３次元の物標を検出する。本実施形態では、３Ｄ検出処理としてＦ－ＰｏｉｎｔＮｅｔを用いるものとして説明を行う。Ｆ－ＰｏｉｎｔＮｅｔでは、２次元画像中の２次元物体検出位置を３次元に投影させる。そして、投影させたピラー（四角錐台）に含まれる３次元点群を入力とし、深層学習を用いて、３次元の物標を検出する。本実施形態では、区別検出部４０２で検出した車両領域を２次元物体検出位置とすればよい。Ｆ－ＰｏｉｎｔＮｅｔが、背景光画像及び反射光画像のうちの少なくともいずれかを間接的に用いた３Ｄ検出処理に相当する。なお、ＰｏｉｎｔＰｉｌｌａｒｓ等のＬｉＤＡＲ装置３で検出する測距点群のみで３Ｄ検出処理を行うアルゴリズムを採用する場合には、画像取得部４０１で取得した反射光画像に対して３Ｄ検出処理を行ってもよい。このＰｏｉｎｔＰｉｌｌａｒｓ等が、反射光画像を直接的に用いた３Ｄ検出処理に相当する。

【0038】

車両認識部４０４は、３Ｄ検出処理部４０３での３Ｄ検出処理の結果から車両の認識を行う。車両認識部４０４は、画像取得部４０１で取得した反射光画像のうち、反射光の強度が閾値以上となる点群を用いて、車両の認識を行ってもよい。ここで言うところの閾値は、任意に設定可能とすればよい。例えば画素別に、背景光画像の強度を閾値としてもよい。例えば、車両認識部４０４は、３Ｄ検出処理で得られた物標の高さ、幅、奥行きといった寸法が車両らしい寸法である場合に、車両と認識すればよい。一方、車両認識部４０４は、３Ｄ検出処理で得られた物標の寸法が車両らしい寸法でない場合には、車両と認識しなければよい。例えば、車両表面の汚れ，色といった要因（以下、低反射要因）によって反射光の強度が低下してしまい、点群の数が減ることで、車両であっても車両認識部４０４で車両と認識されない場合がある。なお、３Ｄ検出処理部４０３で車両らしいほど高くなる物体スコアが検出される場合には、この物体スコアが閾値以上か否かで車両を認識してもよい。

【0039】

強度特定部４０５は、区別検出部４０２で検出した車両領域について、画像取得部４０１で取得した背景光画像と反射光画像とのそれぞれの光強度の高低を特定する。この強度特定部４０５での処理が強度特定工程に相当する。例えば、強度特定部４０５は、車両領域の全画素の光強度の平均値が、閾値以上の場合に、光強度が高いと特定すればよい。また、強度特定部４０５は、車両領域の全画素の光強度の平均値が、閾値未満の場合に、光強度が低いと特定すればよい。他にも、強度特定部４０５は、車両領域の各画素の光強度について、閾値以上のものが多いか否かで、光強度が高いか低いかを特定してもよい。ここで言うところの閾値は、任意に設定可能であり、黒色等の低反射率，低明度の物体以外の物体の有無を区別する値とすればよい。背景光画像の閾値と反射光画像の閾値とは異なっていてもよい。

【0040】

妥当性判断部４０６は、区別検出部４０２で検出したパーツ領域について、画像取得部４０１で取得した反射光画像での強度分布から、パーツ領域の配置の妥当性を判断する。この妥当性判断部４０６での処理が妥当性判断工程に相当する。妥当性判断部４０６は、区別検出部４０２で検出したパーツ領域について、画像取得部４０１で取得した反射光画像での強度分布が、車両における特定車両部位の反射光の強度分布として予め定められた強度分布（以下、典型強度分布）に類似する場合に、パーツ領域の配置の妥当性があると判断すればよい。これは、特定車両部位は、反射光の強度が高くなる傾向があるため、反射光画像に車両が含まれていれば、特定車両部位の配置に応じた強度分布を示す可能性が高いためである。典型強度分布には、予め学習で得られた強度分布を用いればよい。一方、画像取得部４０１で取得した反射光画像での強度分布が、典型強度分布に類似しない場合には、パーツ領域の配置の妥当性がないと判断すればよい。強度分布は、ヒストグラム解析を行うことで得たものを用いてもよい。

【0041】

また、妥当性判断部４０６は、画像取得部４０１で取得した反射光画像での強度分布が、車両における特定車両部位の位置関係及び特定車両部位間の位置関係の少なくともいずれかの位置関係として予め定められた位置関係（以下、典型位置関係）と整合する場合に、パーツ領域の配置の妥当性があると判断してもよい。これは、特定車両部位は、反射光の強度が高くなる傾向があるため、反射光画像に車両が含まれていれば、車両と特定車両部位の位置関係、及び特定車両部位間の位置関係といった配置に応じた強度分布を示す可能性が高いためである。典型位置関係は、予め学習で得られた位置関係を用いればよい。一方、画像取得部４０１で取得した反射光画像での強度分布が、典型位置関係と整合しない場合には、パーツ領域の配置の妥当性がないと判断すればよい。

【0042】

妥当性判断部４０６は、画像取得部４０１で取得した反射光画像での強度分布が、典型強度分布に類似し、且つ、典型位置関係と整合する場合に、パーツ領域の配置の妥当性があると判断することがより好ましい。この場合、妥当性判断部４０６は、画像取得部４０１で取得した反射光画像での強度分布が、典型強度分布に類似しないか、若しくは典型位置関係と整合しない場合に、パーツ領域の配置の妥当性がないと判断すればよい。これによれば、パーツ領域の配置の妥当性をより精度良く判断することが可能になる。

【0043】

車両検出部４０７は、検出エリアにおける車両を検出する。車両検出部４０７は、強度特定部４０５で特定した背景光画像と反射光画像とのそれぞれの光強度の高低、及び妥当性判断部４０６で判断したパーツ領域の配置の妥当性を用いて、車両を検出する。この車両検出部４０７での処理が車両検出工程に相当する。車両検出部４０７は、車両認識部４０４で車両を認識できた場合には、車両を検出することが好ましい。これによれば、車両に低反射要因が少なく、十分な数の点群が得られ、車両認識部４０４で車両と認識できる場合には、車両認識部４０４での認識結果から車両を検出することができる。

【0044】

車両検出部４０７は、強度特定部４０５で車両領域についての反射光画像の光強度が高いことを特定した場合には、車両を検出することが好ましい。これは、車両領域についての反射光画像の光強度が高い場合には、車両が存在する可能性が高いためである。車両検出部４０７は、車両認識部４０４で車両を認識できなかった場合であっても、強度特定部４０５で車両領域についての反射光画像の光強度が高いことを特定した場合には、車両を検出することが好ましい。これは、低反射要因によって十分な数の点群が得られずに車両認識部４０４で車両を認識できなかった場合であっても、車両領域についての反射光画像の光強度が高い場合には、車両が存在する可能性が高いためである。

【0045】

車両検出部４０７は、強度特定部４０５で車両領域についての反射光画像と背景光画像とのうちの反射光画像の光強度だけが低いことを特定した場合には、車両を検出しないことが好ましい。これは、車両領域についての反射光画像と背景光画像とのうちの反射光画像の光強度だけが低い場合には、車両領域は空き空間である可能性が高いためである。一方、車両検出部４０７は、強度特定部４０５で車両領域についての反射光画像と背景光画像とのいずれの光強度も低いことを特定した場合には、車両を検出することが好ましい。これは、車両領域についての反射光画像と背景光画像とのいずれの光強度も低い場合には、車両領域に低反射要因のある車両が存在する可能性が高いためである。

【0046】

車両検出部４０７は、車両認識部４０４で車両を認識できなかった場合であって、且つ、強度特定部４０５で車両領域についての反射光画像と背景光画像とのうちの反射光画像の光強度だけが低いことを特定した場合に、車両を検出しないことが好ましい。一方、車両検出部４０７は、車両認識部４０４で車両を認識できなかった場合であって、且つ、強度特定部４０５で車両領域についての反射光画像と背景光画像とのいずれの光強度も低いことを特定した場合に、車両を検出することが好ましい。これは、低反射要因によって十分な数の点群が得られずに車両認識部４０４で車両を認識できなかった場合であっても、車両領域についての反射光画像と背景光画像とのいずれの光強度も低いことをもとに、低反射要因の車両を精度良く検出することが可能なためである。

【0047】

ここで、図４を用いて、強度特定部４０５で特定される車両領域についての反射光画像と背景光画像との光強度と、推定される車両領域の状態の検出との関係について説明する。図４では、背景光画像の光強度を背景光強度と示す。図４では、反射光画像の光強度を反射光強度と示す。図４に示すように、背景光強度と反射光強度とのいずれも高い場合には、車両領域の状態が物標ありと推定される。よって、車両検出部４０７で車両を検出する。背景光強度は高いが反射光強度は低い場合には、車両領域の状態が空き空間と推定される。よって、車両検出部４０７で車両を検出しない。背景光強度は低いが反射光強度は高い場合には、車両領域の状態が物標ありと推定される。よって、車両検出部４０７で車両を検出する。背景光強度と反射光強度とのいずれも低い場合には、車両領域の状態が低反射要因のある物標ありと推定される。よって、車両検出部４０７で車両を検出する。

【0048】

また、車両検出部４０７は、妥当性判断部４０６でパーツ領域の配置の妥当性がないと判断した場合には、車両を検出しないことが好ましい。これは、パーツ領域の配置の妥当性がない場合には、車両でない可能性が高いためである。車両検出部４０７は、車両認識部４０４で車両を認識できなかった場合であって、且つ、妥当性判断部４０６でパーツ領域の配置の妥当性がないと判断した場合に、車両を検出しない構成としてもよい。

【0049】

車両検出部４０７は、妥当性判断部４０６でパーツ領域の配置の妥当性があると判断した場合でも、強度特定部４０５で車両領域についての反射光画像と背景光画像とのうちの反射光画像の光強度だけが低いことを特定した場合には、車両を検出しないことが好ましい。これは、パーツ領域の配置の妥当性がある場合であっても、車両領域についての反射光画像と背景光画像とのうちの反射光画像の光強度だけが低い場合には、車両でない可能性が高いためである。よって、以上の構成によれば、車両の検出の精度をより高めることが可能になる。車両検出部４０７は、車両認識部４０４で車両を認識できなかった場合であって、妥当性判断部４０６でパーツ領域の配置の妥当性があると判断し、且つ、強度特定部４０５で車両領域についての反射光画像と背景光画像とのうちの反射光画像の光強度だけが低いことを特定した場合にも、車両を検出しないことが好ましい。

【0050】

車両検出部４０７は、妥当性判断部４０６でパーツ領域の配置の妥当性があると判断し、且つ、強度特定部４０５で車両領域についての反射光画像と背景光画像とのいずれの光強度も低いことを特定した場合には、車両を検出することが好ましい。これは、パーツ領域の配置の妥当性があり、且つ、車両領域についての反射光画像と背景光画像とのいずれの光強度も低い場合には、車両領域に低反射要因のある車両が存在する可能性が特に高いためである。以上の構成によれば、車両の検出の精度をより高めることが可能になる。車両検出部４０７は、車両認識部４０４で車両を認識できなかった場合であっても、妥当性判断部４０６でパーツ領域の配置の妥当性があると判断し、且つ、強度特定部４０５で車両領域についての反射光画像と背景光画像とのいずれの光強度も低いことを特定した場合には、車両を検出することが好ましい。これは、低反射要因によって十分な数の点群が得られずに車両認識部４０４で車両を認識できなかった場合であっても、パーツ領域の配置の妥当性があり、且つ、車両領域についての反射光画像と背景光画像とのいずれの光強度も低い場合には、車両領域に低反射要因のある車両が存在する可能性が特に高いためである。

【0051】

車両検出部４０７は、妥当性判断部４０６でパーツ領域の妥当性があると判断した場合に、車両を検出する構成としてもよい。これは、パーツ領域の配置の妥当性がある場合には、車両である可能性が高くなるためである。

【0052】

車両検出部４０７は、上述したような各条件を満たすか否かで車両を検出するか否かを判断すればよい。車両検出部４０７は、上述したような各条件を満たすか否かの判断を、ルールベースで行ってもよいし、機械学習ベースで行ってもよい。

【0053】

車両検出部４０７は、車両検出部４０７での最終的な車両の検出の有無の結果を、自動運転ＥＣＵ５に出力する。車両検出部４０７は、３Ｄ検出処理部４０３での３Ｄ検出処理の結果から車両の位置姿勢も推定して、自動運転ＥＣＵ５に出力してもよい。他にも、車両検出部４０７は、強度特定部４０５で車両領域についての反射光画像と背景光画像とのいずれの光強度も低いことを特定した場合には、車両が黒色であるといった推定結果を、自動運転ＥＣＵ５に出力してもよい。

【0054】

＜処理部４１での車両検出関連処理＞
ここで、処理部４１での車両の検出に関連する処理（以下、車両検出関連処理）の一例について、図５のフローチャートを用いて説明を行う。図５のフローチャートは、例えば自車の内燃機関又はモータジェネレータを始動させるためのスイッチ（以下、パワースイッチ）がオンになった状態において、ＬｉＤＡＲ装置３の測定周期ごとに開始される構成とすればよい。

【0055】

まず、ステップＳ１では、画像取得部４０１が、ＬｉＤＡＲ装置３から出力されてくる反射光画像及び背景光画像を取得する。ステップＳ２では、区別検出部４０２が、Ｓ１で取得した背景光画像から、車両領域とパーツ領域とを区別して検出する。また、区別検出部４０２が、Ｓ１で取得した反射光画像からも、車両領域とパーツ領域とを区別して検出する。

【0056】

ステップＳ３では、３Ｄ検出処理部４０３が、Ｓ１で取得した反射光画像に対して、３Ｄ検出処理を行う。ステップＳ４では、車両認識部４０４が、Ｓ３での３Ｄ検出処理の結果から車両の認識を行う。そして、車両認識部４０４で車両が認識できた場合（Ｓ４でＹＥＳ）には、ステップＳ５に移る。一方、車両認識部４０４で車両が認識できなかった場合（Ｓ４でＮＯ）には、ステップＳ６に移る。ステップＳ５では、車両検出部４０７が車両を検出し、車両検出関連処理を終了する。

【0057】

ステップＳ６では、強度特定部４０５が、Ｓ２で検出した車両領域について、Ｓ１で取得した背景光画像と反射光画像とのそれぞれの光強度の高低を特定する。ここでは、車両認識部４０４で車両が認識できた場合に、強度特定部４０５での処理を行わない構成を例に挙げる。これによれば、車両認識部４０４で車両が認識できた場合に、強度特定部４０５での無駄な処理を省くことが可能になる。なお、車両認識部４０４で車両が認識できるか否かにかかわらず、強度特定部４０５での処理を行う構成としてもよい。

【0058】

ステップＳ７では、Ｓ６で反射光画像の光強度が高いことを特定した場合（Ｓ７でＹＥＳ）には、ステップＳ５に移る。一方、Ｓ６で反射光画像の光強度が低いことを特定した場合（Ｓ７でＮＯ）には、ステップＳ８に移る。

【0059】

ステップＳ８では、妥当性判断部４０６が、Ｓ２で検出したパーツ領域について、Ｓ１で取得した反射光画像での強度分布から、パーツ領域の配置の妥当性を判断する。ここでは、車両認識部４０４で車両が認識できた場合に、妥当性判断部４０６での処理を行わない構成を例に挙げる。これによれば、車両認識部４０４で車両が認識できた場合に、妥当性判断部４０６での無駄な処理を省くことが可能になる。なお、車両認識部４０４で車両が認識できるか否かにかかわらず、妥当性判断部４０６での処理を行う構成としてもよい。

【0060】

ステップＳ９では、Ｓ８でパーツ領域の配置の妥当性があると判断した場合（Ｓ９でＹＥＳ）には、ステップＳ１０に移る。一方、Ｓ８でパーツ領域の配置の妥当性がないと判断した場合（Ｓ９でＮＯ）には、ステップＳ１１に移る。

【0061】

ステップＳ１０では、Ｓ６で反射光画像と背景光画像とのいずれの光強度も低いことを特定した場合（Ｓ１１でＹＥＳ）には、ステップＳ５に移る。一方、Ｓ６で反射光画像と背景光画像とのいずれかの光強度が高いことを特定した場合（Ｓ１１でＮＯ）には、ステップＳ１１に移る。ステップＳ１１では、車両検出部４０７が車両を検出せず、車両検出関連処理を終了する。

【0062】

なお、Ｓ１０の処理を省略する構成としてもよい。この場合、Ｓ９でＹＥＳの場合に、Ｓ４に移る構成とすればよい。また、Ｓ７の処理を省略する構成としてもよい。この場合、Ｓ６からＳ８に移る構成とすればよい。図５のフローチャートでは、３Ｄ検出処理部４０３でＦ－ＰｏｉｎｔＮｅｔを採用する場合の例を示したが、必ずしもこれに限らない。例えば、３Ｄ検出処理部４０３でＰｏｉｎｔＰｉｌｌａｒｓ等を採用する場合には、３Ｄ検出処理よりも前に区別検出部４０２での処理を行わなくてもよい。この場合、区別検出部４０２での処理は、３Ｄ検出処理よりも後に行う構成とすればよい。これにより、３Ｄ検出処理よりも前に区別検出部４０２での処理を行う無駄を省くことが可能になる。例えば、区別検出部４０２での処理を、車両認識部４０４で車両が認識できなかった場合は行う一方、車両認識部４０４で車両が認識できた場合には行わない構成としてもよい。これにより、車両認識部４０４で車両が認識できた場合に、区別検出部４０２での無駄な処理を省くことが可能になる。

【0063】

＜実施形態１のまとめ＞
検出エリアに車両が位置するか否かで、背景光画像と反射光画像とのそれぞれの光強度の高低の傾向として取り得るパターンが絞られる。よって、実施形態１の構成によれば、検出エリアについての背景光画像と反射光画像とのそれぞれの光強度の高低を用いて車両を検出することで、車両をより精度良く検出することが可能になる。また、パーツ領域は、反射光の強度が高くなる傾向がある特定車両部位らしいと推定される領域であるので、車両の車体が低反射率の車体であっても反射光の強度が高くなりやすいと推定される。よって、反射光画像での強度分布も、その特定の車両部位の配置に応じた分布が認められる可能性が高い。従って、実施形態１の構成によれば、反射光画像での強度分布からパーツ領域の配置の妥当性を用いることで、車両をより精度良く検出することが可能になる。その結果、反射光の受光強度を表す画像を車両の検出に用いる場合であっても、車両を精度良く検出することが可能になる。

【0064】

実施形態１の構成によれば、受光素子３２１にＳＰＡＤを用いるので、反射光画像が得られるのと共通の受光素子３２１によって、背景光画像も得ることが可能になる。また、実施形態１の構成によれば、反射光画像と背景光画像が共通の受光素子３２１で得られるので、反射光画像と背景光画像との時刻同期，キャリブレーションの手間を抑えることが可能になる。

【0065】

（実施形態２）
実施形態１では、反射光画像と背景光画像が共通の受光素子３２１で得られる構成を示したが、必ずしもこれに限らない。例えば、反射光画像と背景光画像とが異なる受光素子で得られる構成（以下、実施形態２）としてもよい。以下、実施形態２の構成について説明する。

【0066】

＜車両用システム１ａの概略構成＞
車両用システム１ａは、車両で用いることが可能なものである。車両用システム１ａは、図６に示すように、センサユニット２ａ及び自動運転ＥＣＵ５を含む。車両用システム１ａは、センサユニット２の代わりにセンサユニット２ａを含む点を除けば、実施形態１の車両用システム１と同様である。センサユニット２ａは、図６に示すように、ＬｉＤＡＲ装置３ａ、画像処理装置４ａ、及び外界カメラ６を含む。

【0067】

＜ＬｉＤＡＲ装置３ａの概略構成＞
ＬｉＤＡＲ装置３ａは、図６に示すように、発光部３１、受光部３２、及び制御ユニット３３ａを備える。ＬｉＤＡＲ装置３ａは、制御ユニット３３の代わりに制御ユニット３３ａを備える点を除けば、実施形態１のＬｉＤＡＲ装置３と同様である。

【0068】

制御ユニット３３ａは、背景光測定機能を有していない点を除けば、実施形態１の制御ユニット３３と同様である。ＬｉＤＡＲ装置３ａの受光素子３２１は、ＳＰＡＤを用いてもよいし、ＳＰＡＤを用いなくてもよい。

【0069】

＜外界カメラ６の概略構成＞
外界カメラ６は、自車の外界の所定範囲を撮像する。外界カメラ６は、例えば自車のフロントウインドシールドの車室内側に配置される等すればよい。外界カメラ６の撮像範囲は、ＬｉＤＡＲ装置３ａの測定範囲と少なくとも一部が重複しているものとする。

【0070】

外界カメラ６は、図６に示すように、受光部６１及び制御ユニット６２を含む。受光部６１は、撮像範囲から入射する入射光を、例えば受光レンズにより集光して、受光素子６１１へ入射させる。この入射光が背景光にあたる。受光素子６１１は、カメラ素子と言い換えることもできる。受光素子６１１は、光電変換により光を電気信号に変換する素子であり、例えばＣＣＤセンサ又はＣＭＯＳセンサを採用することが可能である。受光素子６１１では、可視域の自然光等を効率的に受光するために、近赤外域に対して可視域の感度が高く設定されている。受光素子６１１は、複数の受光画素を２次元方向に並ぶようにアレイ状に有する。互いに隣接する受光画素には、例えば赤色、緑色、青色のカラーフィルタが配置されている。各受光画素は、配置されたカラーフィルタに対応した色の可視光を受光する。赤色の強度、緑色の強度、青色の強度がそれぞれ測定されることによって、外界カメラ６が撮影するカメラ画像は、可視域のカラー画像となる。よって、外界カメラ６は、カラーカメラと言い換えることもできる。外界カメラ６で得られるカメラ画像も背景光画像にあたる。

【0071】

制御ユニット６２は、受光部６１を制御するユニットである。制御ユニット６２は、例えば受光素子６１１と共通の基板上に配置すればよい。制御ユニット６２は、例えばマイコン又はＦＰＧＡ等の広義のプロセッサを主体に構成されている。制御ユニット６２は、撮影機能を実現している。

【0072】

撮影機能は、上述のカラー画像を撮影する機能である。制御ユニット６２は、外界カメラ６に設けられたクロック発振器の動作クロックに基づいたタイミングにて、例えばグローバルシャッタ方式を用いて各受光画素が受光した入射光に基づく電圧値を読み出し、入射光の強度を感知して測定する。制御ユニット６２は、撮像範囲に対応した画像平面上の２次元座標に入射光の強度が関連付けられた画像状のデータであるカメラ画像を、生成することができる。こうしたカメラ画像が、画像処理装置４ａへ逐次出力される。

【0073】

＜画像処理装置４の概略構成＞
続いて、図６及びａ図７を用いて、画像処理装置４ａの概略構成を説明する。図６に示すように、画像処理装置４ａは、処理部４１ａ、ＲＡＭ４２、記憶部４３、及びＩ／О４４を備えた演算回路を主体として含む電子制御装置である。画像処理装置４ａは、処理部４１の代わりに処理部４１ａを備える点を除けば、実施形態１の画像処理装置４と同様である。

【0074】

図７に示すように、画像処理装置４ａは、画像取得部４０１ａ、区別検出部４０２、３Ｄ検出処理部４０３、車両認識部４０４、強度特定部４０５、妥当性判断部４０６、及び車両検出部４０７を機能ブロックとして備える。この画像処理装置４ａも車両検出装置に相当する。また、コンピュータによって画像処理装置４ａの各機能ブロックの処理が実行されることも、車両検出方法が実行されることに相当する。画像処理装置４ａの機能ブロックは、画像取得部４０１の代わりに画像取得部４０１ａを備える点を除けば、実施形態１の画像処理装置４と同様である。

【0075】

画像取得部４０１ａは、ＬｉＤＡＲ装置３ａから出力されてくる反射光画像を逐次取得する。画像取得部４０１ａは、外界カメラ６から出力されてくる背景光画像としてのカメラ画像を逐次取得する。ＬｉＤＡＲ装置３ａで反射光画像が得られる測定範囲と、外界カメラ６で背景光画像が得られる撮像範囲とは一部が重複している。この重複した範囲を検出エリアとする。よって、画像取得部４０１ａは、検出エリアに照射した光の反射光を可視外領域に感度を持つ受光素子３２１にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光を受光素子３２１とは異なる可視領域に感度を持つ受光素子６１１にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する。この画像取得部４０１ａでの処理も画像取得工程に相当する。

【0076】

なお、画像処理装置４ａでは、ＬｉＤＡＲ装置３ａから出力されてくる反射光画像と、外界カメラ６から出力されてくる背景光画像とは、タイムスタンプ等を利用して時刻同期させればよい。また、画像処理装置４ａでは、ＬｉＤＡＲ装置３ａの測定の基点と外界カメラ６の撮像の基点とのずれに応じたキャリブレーションも行う。これによって、反射光画像の座標系と背景光画像の座標系とを、互いに一致する同座標系として扱うことを可能にする。

【0077】

＜実施形態２のまとめ＞
実施形態２の構成は、背景光画像がＬｉＤＡＲ装置３で得られるか外界カメラ６で得られるかに関する構成を除けば、実施形態１の構成と同様である。よって、実施形態１と同様に、反射光の受光強度を表す画像を車両の検出に用いる場合であっても、車両を精度良く検出することが可能になる。

【0078】

また、実施形態２の構成によれば、背景光画像に色の情報が付与されているため、黒い物標の判別等が行いやすくなる。よって、車両の検出の精度をより向上させることが可能になる。

【0079】

（実施形態３）
前述の実施形態では、区別検出部４０２で検出する車両領域にパーツ領域も含まれる構成を示したが、必ずしもこれに限らない。例えば、区別検出部４０２で検出する車両領域からパーツ領域が除かれる構成としてもよい。この場合、実施形態１の車両領域からパーツ領域を差し引いた領域を、車両領域として検出すればよい。

【0080】

（実施形態４）
前述の実施形態では、センサユニット２，２ａが車両で用いられる場合を例に挙げて説明したが、必ずしもこれに限らない。例えば、センサユニット２，２ａが車両以外の移動体で用いられる構成としてもよい。車両以外の移動体としては、例えばドローン等が挙げられる。また、センサユニット２，２ａが移動体以外の静止物体で用いられる構成としてもよい。静止物体としては、例えば路側機等が挙げられる。

【0081】

なお、本開示は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。また、本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された１つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと１つ以上のハードウェア論理回路との組み合わせにより構成された１つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【符号の説明】

【0082】

１，１ａ 車両用システム、２，２ａ センサユニット、３，３ａ ＬｉＤＡＲ装置、４，４ａ 画像処理装置（車両検出装置）、６ 外界カメラ、３２１ 受光素子、４０１，４０１ａ 画像取得部、４０２ 区別検出部、４０４ 車両認識部、４０５ 強度特定部、４０６ 妥当性判断部、４０７ 車両検出部、６１１ 受光素子

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】