(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-31
(45)【発行日】2025-04-08
(54)【発明の名称】制御装置、制御方法、制御プログラム
(51)【国際特許分類】
G01S 7/497 20060101AFI20250401BHJP
G01S 17/89 20200101ALI20250401BHJP
G01S 17/931 20200101ALI20250401BHJP
【FI】
G01S7/497
G01S17/89
G01S17/931
(21)【出願番号】P 2021149661
(22)【出願日】2021-09-14
【審査請求日】2024-06-12
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【氏名又は名称】矢作 和行
(74)【代理人】
【識別番号】100121991
【氏名又は名称】野々部 泰平
(74)【代理人】
【識別番号】100145595
【氏名又は名称】久保 貴則
(72)【発明者】
【氏名】柳井 謙一
(72)【発明者】
【氏名】上杉 浩
【審査官】梶田 真也
(56)【参考文献】
【文献】特開2015-190771(JP,A)
【文献】国際公開第2011/078264(WO,A1)
【文献】特開2019-219400(JP,A)
【文献】特開2021-063700(JP,A)
【文献】特開2021-103101(JP,A)
【文献】特開2005-214743(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48 - 7/51
G01S 17/00 - 17/95
G01B 11/00 - 11/30
G01B 21/00 - 21/32
G01C 3/00 - 3/32
(57)【特許請求の範囲】
【請求項1】
プロセッサ(1b)を有し、車両(5)の検出エリア(Ad)へ照射した照射光に対してのエコーを検出する光学センサ(10)を、制御する制御装置(1)であって、
前記プロセッサは、
前記検出エリアにおいて光を反射する反射物標(Tr)までの距離値を表す距離画像データ(Dd)を、第一強度(I1)の前記照射光に対して前記光学センサにより検出された前記エコーに基づき取得することと、
前記検出エリアにおける前記反射物標から反射された前記エコーの強度値を表す強度画像データ(Di)を、前記第一強度よりも低い第二強度(I2)の前記照射光に対して前記光学センサにより検出された前記エコーに基づき取得することと、
前記距離画像データにおいて前記反射物標の撮像される物標画素領域(Rt)の周囲にフレアの撮像が予測されるフレア画素領域(Rf)を、前記強度画像データに基づき推定することと、
前記距離画像データにおいて前記エコーの検出タイミングが前記物標画素領域と重畳した前記フレア画素領域の前記距離値を、除去することとを、実行するように構成される制御装置。
【請求項2】
前記距離画像データを取得することは、
前記光学センサにおいて発振状態に制御したレーザダイオード(24)による前記第一強度の前記照射光に対して、前記距離画像データを取得することを、含み、
前記強度画像データを取得することは、
前記光学センサにおいて未発振状態に制御した前記レーザダイオードによる前記第二強度の前記照射光に対して、前記強度画像データを取得することを、含む請求項1に記載の制御装置。
【請求項3】
前記プロセッサは、
前記検出エリアにおける前記反射物標から反射された前記エコーの強度値を表す背景光画像データ(Db)を、前記検出エリアにおける背景光に対して前記光学センサにより検出された前記エコーに基づき取得することを、さらに実行するように構成され、
前記フレア画素領域を推定することは、
前記背景光画像データにおける前記物標画素領域の強度値によって補正した、前記強度画像データにおける前記物標画素領域の強度値に基づき、前記フレア画素領域を推定することを、含む請求項1又は2に記載の制御装置。
【請求項4】
プロセッサ(1b)を有し、車両(5)の検出エリア(Ad)へ照射した照射光に対してのエコーを検出する光学センサ(10)を、制御する制御装置(1)であって、
前記プロセッサは、
前記検出エリアにおいて光を反射する反射物標(Tr)までの距離値を表す距離画像データ(Dd)を、前記照射光に対して前記光学センサにより検出された前記エコーに基づき取得することと、
前記検出エリアにおける前記反射物標から反射された前記エコーの強度値を表す強度画像データ(Db)を、前記検出エリアにおいて前記照射光よりも強度の低くなる背景光に対して前記光学センサにより検出された前記エコーに基づき取得することと、
前記距離画像データにおいて前記反射物標の撮像される物標画素領域(Rt)の周囲にフレアの撮像が予測されるフレア画素領域(Rf)を、前記強度画像データに基づき推定することと、
前記距離画像データにおいて前記エコーの検出タイミングが前記物標画素領域と重畳した前記フレア画素領域の前記距離値を、除去することとを、実行するように構成される制御装置。
【請求項5】
前記フレア画素領域を推定することは、
前記光学センサにおいて前記エコーを結像するレンズ系(42)の光学特性(Os)と、前記強度画像データにおける前記物標画素領域の前記強度値とに、相関する範囲に前記フレア画素領域を推定することを、含む請求項1~4のいずれか一項に記載の制御装置。
【請求項6】
前記距離画像データを取得することは、
距離取得期間(Pd)において複数の走査ライン(Ls)毎に前記距離画像データを取得することを、含み、
前記強度画像データを取得することは、
前記距離取得期間よりも前の強度取得期間(Pi,Pb)において各前記走査ライン(Ls)毎に前記強度画像データを取得することを、含み、
前記フレア画素領域を推定することは、
各前記走査ライン分が前記強度取得期間に亘って合成された前記強度画像データに基づき、前記フレア画素領域を推定することを、含み、
前記距離値を除去することは、
前記フレア画素領域が推定された前記走査ラインの前記距離画像データにおいて、前記フレア画素領域の前記距離値を除去することを、含む請求項1~5のいずれか一項に記載の制御装置。
【請求項7】
前記距離画像データを取得することは、
距離取得期間(Pd)において複数の走査ライン(Ls)毎に前記距離画像データを取得することを、含み、
前記強度画像データを取得することは、
前記距離取得期間よりも前の強度取得期間(Pi,Pb)において各前記走査ライン(Ls)毎に前記強度画像データを取得することを、含み、
前記フレア画素領域を推定することは、
各前記走査ライン分が前記強度取得期間に亘って合成された前記強度画像データに基づき、前記フレア画素領域を推定することを、含み、
前記距離値を除去することは、
各前記走査ライン分が前記距離取得期間に亘って合成された前記距離画像データにおいて、前記フレア画素領域の前記距離値を除去することを、含む請求項1~5のいずれか一項に記載の制御装置。
【請求項8】
記憶媒体(1a)を有し、
前記プロセッサは、
前記フレア画素領域の前記距離値が除去された前記距離画像データを、前記記憶媒体に記憶することを、さらに実行するように構成される請求項1~7のいずれか一項に記載の制御装置。
【請求項9】
車両(5)の検出エリア(Ad)へ照射した照射光に対してのエコーを検出する光学センサ(10)を、制御するためにプロセッサ(1b)により実行される制御方法であって、
前記検出エリアにおいて光を反射する反射物標(Tr)までの距離値を表す距離画像データ(Dd)を、第一強度(I1)の前記照射光に対して前記光学センサにより検出された前記エコーに基づき取得することと、
前記検出エリアにおける前記反射物標から反射された前記エコーの強度値を表す強度画像データ(Di)を、前記第一強度よりも低い第二強度(I2)の前記照射光に対して前記光学センサにより検出された前記エコーに基づき取得することと、
前記距離画像データにおいて前記反射物標の撮像される物標画素領域(Rt)の周囲にフレアの撮像が予測されるフレア画素領域(Rf)を、前記強度画像データに基づき推定することと、
前記距離画像データにおいて前記エコーの検出タイミングが前記物標画素領域と重畳した前記フレア画素領域の前記距離値を、除去することとを、含む制御方法。
【請求項10】
車両(5)の検出エリア(Ad)へ照射した照射光に対してのエコーを検出する光学センサ(10)を、制御するためにプロセッサ(1b)により実行される制御方法であって、
前記検出エリアにおいて光を反射する反射物標(Tr)までの距離値を表す距離画像データ(Dd)を、前記照射光に対して前記光学センサにより検出された前記エコーに基づき取得することと、
前記検出エリアにおける前記反射物標から反射された前記エコーの強度値を表す強度画像データ(Db)を、前記検出エリアにおいて前記照射光よりも強度の低くなる背景光に対して前記光学センサにより検出された前記エコーに基づき取得することと、
前記距離画像データにおいて前記反射物標の撮像される物標画素領域(Rt)の周囲にフレアの撮像が予測されるフレア画素領域(Rf)を、前記強度画像データに基づき推定することと、
前記距離画像データにおいて前記エコーの検出タイミングが前記物標画素領域と重畳した前記フレア画素領域の前記距離値を、除去することとを、含む制御方法。
【請求項11】
車両(5)の検出エリア(Ad)へ照射した照射光に対してのエコーを検出する光学センサ(10)を、制御するために記憶媒体(1a)に記憶され、プロセッサ(1b)に実行させる命令を含む制御プログラムであって、
前記命令は、
前記検出エリアにおいて光を反射する反射物標(Tr)までの距離値を表す距離画像データ(Dd)を、第一強度(I1)の前記照射光に対して前記光学センサにより検出された前記エコーに基づき取得させることと、
前記検出エリアにおける前記反射物標から反射された前記エコーの強度値を表す強度画像データ(Di)を、前記第一強度よりも低い第二強度(I2)の前記照射光に対して前記光学センサにより検出された前記エコーに基づき取得させることと、
前記距離画像データにおいて前記反射物標の撮像される物標画素領域(Rt)の周囲にフレアの撮像が予測されるフレア画素領域(Rf)を、前記強度画像データに基づき推定させることと、
前記距離画像データにおいて前記エコーの検出タイミングが前記物標画素領域と重畳した前記フレア画素領域の前記距離値を、除去させることとを、含む制御プログラム。
【請求項12】
車両(5)の検出エリア(Ad)へ照射した照射光に対してのエコーを検出する光学センサ(10)を、制御するために記憶媒体(1a)に記憶され、プロセッサ(1b)に実行させる命令を含む制御プログラムであって、
前記命令は、
前記検出エリアにおいて光を反射する反射物標(Tr)までの距離値を表す距離画像データ(Dd)を、前記照射光に対して前記光学センサにより検出された前記エコーに基づき取得させることと、
前記検出エリアにおける前記反射物標から反射された前記エコーの強度値を表す強度画像データ(Db)を、前記検出エリアにおいて前記照射光よりも強度の低くなる背景光に対して前記光学センサにより検出された前記エコーに基づき取得させることと、
前記距離画像データにおいて前記反射物標の撮像される物標画素領域(Rt)の周囲にフレアの撮像が予測されるフレア画素領域(Rf)を、前記強度画像データに基づき推定させることと、
前記距離画像データにおいて前記エコーの検出タイミングが前記物標画素領域と重畳した前記フレア画素領域の前記距離値を、除去させることとを、含む制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両の検出エリアへ照射した照射光に対してのエコーを検出する光学センサを、制御する技術に関する。
【背景技術】
【0002】
特許文献1に開示の技術では、光学センサである測距装置において照射光に対しての反射エコーとなる入射光を検出するために、感度の異なる二種類の画素が混在している。これにより入射光量の高い条件下であっても、低感度側の画素において飽和による誤検出を生じさせることなく、入射光を検出することが可能となっている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、エコーの反射強度が高い場合には、例えばレンズ内部での不要反射等の要因でフレアが発生して、光学センサでは被写体体格が不正確に撮像されるおそれがある。しかし、そうしたフレアに起因する誤検出までは、特許文献1の開示技術によっては解決困難である。
【0005】
本開示の課題は、光学センサの誤検出を抑制する制御装置を、提供することにある。本開示の別の課題は、光学センサの誤検出を抑制する制御方法を、提供することにある。本開示のさらに別の課題は、光学センサの誤検出を抑制する制御プログラムを、提供することにある。
【課題を解決するための手段】
【0006】
以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。
【0007】
本開示の第一態様は、
プロセッサ(1b)を有し、車両(5)の検出エリア(Ad)へ照射した照射光に対してのエコーを検出する光学センサ(10)を、制御する制御装置(1)であって、
プロセッサは、
検出エリアにおいて光を反射する反射物標(Tr)までの距離値を表す距離画像データ(Dd)を、第一強度(I1)の照射光に対して光学センサにより検出されたエコーに基づき取得することと、
検出エリアにおける反射物標から反射されたエコーの強度値を表す強度画像データ(Di)を、第一強度よりも低い第二強度(I2)の照射光に対して光学センサにより検出されたエコーに基づき取得することと、
距離画像データにおいて反射物標の撮像される物標画素領域(Rt)の周囲にフレアの撮像が予測されるフレア画素領域(Rf)を、強度画像データに基づき推定することと、
距離画像データにおいてエコーの検出タイミングが物標画素領域と重畳したフレア画素領域の距離値を、除去することとを、実行するように構成される。
【0008】
本開示の第二態様は、
車両(5)の検出エリア(Ad)へ照射した照射光に対してのエコーを検出する光学センサ(10)を、制御するためにプロセッサ(1b)により実行される制御方法であって、
検出エリアにおいて光を反射する反射物標(Tr)までの距離値を表す距離画像データ(Dd)を、第一強度(I1)の照射光に対して光学センサにより検出されたエコーに基づき取得することと、
検出エリアにおける反射物標から反射されたエコーの強度値を表す強度画像データ(Di)を、第一強度よりも低い第二強度(I2)の照射光に対して光学センサにより検出されたエコーに基づき取得することと、
距離画像データにおいて反射物標の撮像される物標画素領域(Rt)の周囲にフレアの撮像が予測されるフレア画素領域(Rf)を、強度画像データに基づき推定することと、
距離画像データにおいてエコーの検出タイミングが物標画素領域と重畳したフレア画素領域の距離値を、除去することとを、含む。
【0009】
本開示の第三態様は、
車両(5)の検出エリア(Ad)へ照射した照射光に対してのエコーを検出する光学センサ(10)を、制御するために記憶媒体(1a)に記憶され、プロセッサ(1b)に実行させる命令を含む制御プログラムであって、
命令は、
検出エリアにおいて光を反射する反射物標(Tr)までの距離値を表す距離画像データ(Dd)を、第一強度(I1)の照射光に対して光学センサにより検出されたエコーに基づき取得させることと、
検出エリアにおける反射物標から反射されたエコーの強度値を表す強度画像データ(Di)を、第一強度よりも低い第二強度(I2)の照射光に対して光学センサにより検出されたエコーに基づき取得させることと、
距離画像データにおいて反射物標の撮像される物標画素領域(Rt)の周囲にフレアの撮像が予測されるフレア画素領域(Rf)を、強度画像データに基づき推定させることと、
距離画像データにおいてエコーの検出タイミングが物標画素領域と重畳したフレア画素領域の距離値を、除去させることとを、含む。
【0010】
これら第一~第三態様によると、検出エリアにおいて光を反射する反射物標までの距離値を表す距離画像データは、第一強度の照射光に対して光学センサにより検出のエコーに基づき取得される。そこで第一~第三態様では、第一強度よりも低い第二強度の照射光に対して光学センサにより検出のエコーに基づくことで、検出エリアにおける反射物標から反射されたエコーの強度値を表す強度画像データが、取得される。これによれば、距離画像データにおいて反射物標の撮像される物標画素領域の周囲にフレアの撮像が予測されるフレア画素領域は、低強度の照明光に応じて当該撮像の抑制された強度画像データに基づくことで適正に推定することができる。故に、距離画像データにおいてエコーの検出タイミングが物標画素領域と重畳したフレア画素領域の距離値は、フレアの撮像に起因する疑似値であるとして除去され得ることから、光学センサでの距離値の誤検出を抑制することが可能となる。
【0011】
本開示の第四態様は、
プロセッサ(1b)を有し、車両(5)の検出エリア(Ad)へ照射した照射光に対してのエコーを検出する光学センサ(10)を、制御する制御装置(1)であって、
プロセッサは、
検出エリアにおいて光を反射する反射物標(Tr)までの距離値を表す距離画像データ(Dd)を、照射光に対して光学センサにより検出されたエコーに基づき取得することと、
検出エリアにおける反射物標から反射されたエコーの強度値を表す強度画像データ(Db)を、検出エリアにおいて照射光よりも強度の低くなる背景光に対して光学センサにより検出されたエコーに基づき取得することと、
距離画像データにおいて反射物標の撮像される物標画素領域(Rt)の周囲にフレアの撮像が予測されるフレア画素領域(Rf)を、強度画像データに基づき推定することと、
距離画像データにおいてエコーの検出タイミングが物標画素領域と重畳したフレア画素領域の距離値を、除去することとを、実行するように構成される。
【0012】
本開示の第五態様は、
車両(5)の検出エリア(Ad)へ照射した照射光に対してのエコーを検出する光学センサ(10)を、制御するためにプロセッサ(1b)により実行される制御方法であって、
検出エリアにおいて光を反射する反射物標(Tr)までの距離値を表す距離画像データ(Dd)を、照射光に対して光学センサにより検出されたエコーに基づき取得することと、
検出エリアにおける反射物標から反射されたエコーの強度値を表す強度画像データ(Db)を、検出エリアにおいて照射光よりも強度の低くなる背景光に対して光学センサにより検出されたエコーに基づき取得することと、
距離画像データにおいて反射物標の撮像される物標画素領域(Rt)の周囲にフレアの撮像が予測されるフレア画素領域(Rf)を、強度画像データに基づき推定することと、
距離画像データにおいてエコーの検出タイミングが物標画素領域と重畳したフレア画素領域の距離値を、除去することとを、含む。
【0013】
本開示の第六態様は、
車両(5)の検出エリア(Ad)へ照射した照射光に対してのエコーを検出する光学センサ(10)を、制御するために記憶媒体(1a)に記憶され、プロセッサ(1b)に実行させる命令を含む制御プログラムであって、
命令は、
検出エリアにおいて光を反射する反射物標(Tr)までの距離値を表す距離画像データ(Dd)を、照射光に対して光学センサにより検出されたエコーに基づき取得させることと、
検出エリアにおける反射物標から反射されたエコーの強度値を表す強度画像データ(Db)を、検出エリアにおいて照射光よりも強度の低くなる背景光に対して光学センサにより検出されたエコーに基づき取得させることと、
距離画像データにおいて反射物標の撮像される物標画素領域(Rt)の周囲にフレアの撮像が予測されるフレア画素領域(Rf)を、強度画像データに基づき推定させることと、
距離画像データにおいてエコーの検出タイミングが物標画素領域と重畳したフレア画素領域の距離値を、除去させることとを、含む。
【0014】
これら第四~第六態様によると、検出エリアにおいて光を反射する反射物標までの距離値を表す距離画像データは、照射光に対して光学センサにより検出のエコーに基づき取得される。そこで第四~第六態様では、検出エリアにおいて照射光よりも強度の低くなる背景光に対して光学センサにより検出のエコーに基づくことで、検出エリアにおける反射物標から反射されたエコーの強度値を表す強度画像データが、取得される。これによれば、距離画像データにおいて反射物標の撮像される物標画素領域の周囲にフレアの撮像が予測されるフレア画素領域は、低強度の背景光に応じて当該撮像の抑制された強度画像データに基づくことで適正に推定することができる。故に、距離画像データにおいてエコーの検出タイミングが物標画素領域と重畳したフレア画素領域の距離値は、フレアの撮像に起因する疑似値であるとして除去され得ることから、光学センサでの距離値の誤検出を抑制することが可能となる。
【図面の簡単な説明】
【0015】
【
図1】第一実施形態による検出システムの全体構成を示す模式図である。
【
図2】第一実施形態による光学センサの詳細構成を示す模式図である。
【
図3】第一実施形態による制御装置の機能構成を示すブロック図である。
【
図4】第一実施形態による投光器を示す模式図である。
【
図5】第一実施形態によるレーザダイオードの特性を示す模式図である。
【
図6】第一実施形態による検出フレームを示すタイムチャートである。
【
図7】第一実施形態による受光器を示す模式図である。
【
図8】第一実施形態による距離画像データを説明するための模式図である。
【
図9】第一実施形態による強度画像データを説明するための模式図である。
【
図10】第一実施形態における反射物標を説明するための模式図である。
【
図11】第一実施形態による光学特性を説明するためのグラフである。
【
図12】第一実施形態によるフレア画素領域を説明するための模式図である。
【
図13】第一実施形態によるフレア画素領域を説明するための模式図である。
【
図14】第一実施形態による距離値の除去を説明するためのグラフである。
【
図15】第一実施形態による距離値の除去を説明するためのグラフである。
【
図16】第一実施形態による制御フローを示すフローチャートである。
【
図17】第二実施形態による制御装置の機能構成を示すブロック図である。
【
図18】第二実施形態による距離値の除去を説明するための模式図である。
【
図19】第二実施形態による制御フローを示すフローチャートである。
【
図20】第三実施形態による制御装置の機能構成を示すブロック図である。
【
図21】第三実施形態による検出フレームを示すタイムチャートである。
【
図22】第三実施形態による制御フローを示すフローチャートである。
【
図23】第四実施形態による制御装置の機能構成を示すブロック図である。
【
図24】第四実施形態による検出フレームを示すタイムチャートである。
【
図25】第四実施形態による制御フローを示すフローチャートである。
【
図26】第四実施形態による制御フローを示すフローチャートである。
【
図27】変形例による制御装置の機能構成を示すブロック図である。
【
図28】変形例による制御フローを示すフローチャートである。
【
図29】変形例による制御装置の機能構成を示すブロック図である。
【
図30】変形例による制御フローを示すフローチャートである。
【
図31】変形例による制御装置の機能構成を示すブロック図である。
【
図32】変形例による制御フローを示すフローチャートである。
【
図33】変形例による制御装置の機能構成を示すブロック図である。
【
図34】変形例による制御フローを示すフローチャートである。
【発明を実施するための形態】
【0016】
以下、本開示の実施形態を図面に基づき複数説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。また、各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。さらに、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。
【0017】
(第一実施形態)
図1に示すように本開示の第一実施形態は、光学センサ10及び制御装置1を含んで構成される検出システム2に関する。検出システム2は、車両5に搭載される。車両5は、乗員の搭乗状態において走行路を走行可能な、例えば自動車等の移動体である。
【0018】
車両5は、自動運転制御モードにおいて定常的、又は一時的に自動走行可能となっている。ここで自動運転制御モードは、条件付運転自動化、高度運転自動化、又は完全運転自動化といった、作動時のシステムが全ての運転タスクを実行する自律運転制御により、実現されてもよい。自動運転制御モードは、運転支援、又は部分運転自動化といった、乗員が一部又は全ての運転タスクを実行する高度運転支援制御において、実現されてもよい。自動運転制御モードは、それら自律運転制御と高度運転支援制御とのいずれか一方、組み合わせ、又は切り替えにより実現されてもよい。
【0019】
尚、以下の説明では断り書きがない限り、前、後、上、下、左、及び右の各方向は、水平面上の車両5を基準として定義される。また水平方向とは、車両5の方向基準となる水平面に対して、横方向でもある平行方向を示す。さらに鉛直方向とは、車両5の方向基準となる水平面に対して、上下方向でもある垂直方向を示す。
【0020】
光学センサ10は、自動制御運転モードを含む車両5の運転制御に活用可能な画像データを取得するための、所謂LiDAR(Light Detection and Ranging / Laser Imaging Detection and Ranging)である。光学センサ10は、例えば前方部、左右の側方部、後方部、及び上方のルーフ等のうち、車両5の少なくとも一箇所に配置される。
図2に示すように光学センサ10においては、互いに直交する三軸としてのX軸、Y軸、及びZ軸により、三次元直交座標系が定義されている。ここで特に本実施形態では、X軸及びZ軸がそれぞれ車両5の相異なる水平方向に沿って設定され、またY軸が車両5の鉛直方向に沿って設定される。尚、
図2においてY軸に沿う一点鎖線よりも左側部分(後述の透光カバー12側)は、実際には当該一点鎖線よりも右側部分(後述のユニット21,41側)に対して垂直な断面を図示している。
【0021】
図3に示すように光学センサ10は、車両5の外界空間のうち配置箇所に応じた検出エリアAdへと向けて、光を照射する。光学センサ10は、照射した光が検出エリアAdから反射されることで入射してくる反射光を、当該検出エリアAdからのエコーとして検出する。光学センサ10は、照射光の非照射時における背景光(即ち、外光)が検出エリアAdから反射されることで入射してくる光も、当該検出エリアAdからのエコーとして検出可能となっている。
【0022】
光学センサ10は、こうしたエコーの検出により検出エリアAd内において光を反射する反射物標Trを観測する。ここで特に本実施形態における観測とは、光学センサ10から反射物標Trまでの距離値、及び反射物標Trから反射されてくるエコーの強度値を、センシングすることを意味する。車両5に適用される光学センサ10において代表的な観測対象物標は、例えば歩行者、サイクリスト、人間以外の動物、及び他車両等の移動物体のうち、少なくとも一種類であってもよい。車両5に適用される光学センサ10において代表的な観測対象物標は、例えばガードレール、道路標識、道路脇の構造物、及び道路上の落下物等の静止物体のうち、少なくとも一種類であってもよい。
【0023】
図2に示すように光学センサ10は、筐体11、投光ユニット21、走査ユニット31、及び受光ユニット41を含んで構成されている。筐体11は、光学センサ10の外装を構成している。筐体11は、箱状に形成され、遮光性を有している。筐体11は、投光ユニット21、走査ユニット31、及び受光ユニット41を内部に収容している。筐体11において開口状の光学窓には、透光カバー12が設けられている。透光カバー12は、板状に形成され、上述の照射光及びエコーに対して透光性を有している。透光カバー12は、照射光及びエコーの双方を透過可能に、筐体11の光学窓を閉塞している。
【0024】
投光ユニット21は、投光器22、及び投光レンズ系26を備えている。投光器22は、筐体11内に配置されている。
図4に示すように投光器22は、複数のレーザダイオード24が基板上においてアレイ状に配列されることで、形成されている。各レーザダイオード24は、Y軸に沿って単列に配列されている。各レーザダイオード24は、PN接合層において発振された光を共振可能な共振器構造、及びPN接合層を挟んで光を繰り返し反射可能なミラー層構造を、有している。
【0025】
各レーザダイオード24は、制御装置1からの制御信号に従う電流の印加に応じた光を、それぞれ発する。特に本実施形態の各レーザダイオード24は、車両5の外界空間に存在する人間から視認困難な近赤外域の光を、それぞれ発する。
図5に示すように各レーザダイオード24は、切替電流値Cthよりも高い電流を印加される場合には発振状態のLD(Laser Diode)モードとなることで、パルス発光する。このようなLDモードの各レーザダイオード24から発せされた光は、
図6に示すように近赤外域での強度が第一強度I1の照射光を構成することになる。一方、
図5に示すように各レーザダイオード24は、切替電流値Cthよりも低い電流を印加される場合には未発振状態のLED(Light Emitting Diode)モードとなることで、DC(Direct Current)発光する。このようなLEDモードの各レーザダイオード24から発せされた光は、
図6に示すように近赤外域での強度が第一強度I1よりも低い第二強度I2の照射光を構成することになる。
【0026】
図4に示すように投光器22は、長辺側がY軸に沿った長方形輪郭をもって擬似的に規定される投光窓25を、基板の片面側に形成している。投光窓25は、各レーザダイオード24における投射開口の集合体として、構成されている。各レーザダイオード24の投射開口から発せられた光は、検出エリアAdではY軸に沿った長手のライン状に擬制される照射光として、投光窓25から投射される。照射光には、Y軸方向において各レーザダイオード24の配列間隔に応じた非発光部が、含まれていてもよい。この場合でも、検出エリアAdにおいては回折作用によって巨視的に非発光部の解消されたライン状の照射光が、形成されるとよい。
【0027】
図2に示すように投光レンズ系26は、投光器22からの照射光を、走査ユニット31の走査ミラー32へ向かって投光する。投光レンズ系26は、筐体11内において投光器22及び走査ミラー32の間に、配置されている。投光レンズ系26は、例えば集光、コリメート、及び整形等のうち、少なくとも一種類の光学作用を発揮する。投光レンズ系26は、Z軸に沿った投光光軸を、形成する。投光レンズ系26は、発揮する光学作用に応じたレンズ形状の投光レンズ27を、投光光軸上に少なくとも一つ有している。投光レンズ系26の投光光軸上には、投光器22が位置決めされている。投光器22において投光窓25の中心から射出される照射光は、投光レンズ系26の投光光軸に沿って導光される。
【0028】
走査ユニット31は、走査ミラー32、及び走査モータ35を備えている。走査ミラー32は、投光ユニット21の投光レンズ系26から照射された照射光を検出エリアAdへ向けて走査し、検出エリアAdからのエコーを受光ユニット41の受光レンズ系42へ向けて反射する。走査ミラー32は、照射光の光路上における透光カバー12及び投光レンズ系26の間、且つエコーの光路上における透光カバー12及び受光レンズ系42の間に配置されている。
【0029】
走査ミラー32は、基材の片面である反射面33に反射膜が蒸着されることで、板状に形成されている。走査ミラー32は、Y軸に沿う回転中心線まわりに回転可能に、筐体11によって支持されている。走査ミラー32は、回転中心線まわりの回転により、反射面33の法線方向を調整可能となっている。走査ミラー32は、機械的又は電気的なストッパにより有限となる駆動範囲内において、揺動運動する。
【0030】
走査ミラー32は、投光ユニット21と受光ユニット41とに共通に設けられている。即ち走査ミラー32は、照射光とエコーとに共通に設けられている。これにより走査ミラー32は、照射光の反射に利用する投光反射面部と、エコーの反射に利用する受光反射面部とを、反射面33においてY軸方向にずらして形成している。
【0031】
照射光は、走査ミラー32の回転に応じた法線方向を向く反射面33において投光反射面部から反射作用を受けることで、透光カバー12を透過して検出エリアAdを時間的及び空間的に走査する。このとき照射光による検出エリアAdの走査は、水平方向での走査に実質制限される。照射光及び背景光は、検出エリアAdに存在する反射物標Trによって反射されることで、エコーとして光学センサ10に入射する。こうしたエコーは、透光カバー12を透過して、走査ミラー32の回転に応じた法線方向を向く反射面33において受光反射面部から反射作用を受けることで、受光ユニット41の受光レンズ系42へ導光される。ここで走査ミラー32の回転運動速度に対しては、照射光及びエコーの速度が十分に大きい。これにより照射光に対するエコーは、当該照射光と略同一回転角度の走査ミラー32において照射光と逆行するように、受光レンズ系42へ導光されることになる。
【0032】
走査モータ35は、筐体11内において走査ミラー32の周囲に、配置されている。走査モータ35は、例えばボイスコイルモータ、ブラシ付き直流モータ、又はステッピングモータ等である。走査モータ35は、制御装置1からの制御信号に従って、走査ミラー32を有限の駆動範囲内において回転駆動(即ち、揺動駆動)する。
【0033】
受光ユニット41は、受光レンズ系42、及び受光器45を備えている。受光レンズ系42は、走査ミラー32によって反射されたエコーを、受光器45へ向かって導光する。受光レンズ系42は、筐体11内において走査ミラー32及び受光器45の間に、配置されている。受光レンズ系42は、Y軸方向において投光レンズ系26よりも下方に、位置決めされている。受光レンズ系42は、受光器45に対してエコーを結像させるように、光学作用を発揮する。受光レンズ系42は、Z軸に沿った受光光軸を、形成する。受光レンズ系42は、発揮する光学作用に応じたレンズ形状の受光レンズ43を、受光光軸上に少なくとも一つ有している。走査ミラー32の反射面33のうち受光反射面部から反射されてくる、検出エリアAdからのエコーは、走査ミラー32の駆動範囲内において受光レンズ系42の受光光軸に沿って導光される。
【0034】
受光器45は、受光レンズ系42によって結像された、検出エリアAdからのエコーを受光することで、当該受光に応じた検出信号を出力する。受光器45は、筐体11内において走査ミラー32とは受光レンズ系42を挟んだ反対側に、配置されている。受光器45は、Y軸方向において投光器22よりも下方、且つ受光レンズ系42の受光光軸上に位置決めされている。
【0035】
図7に示すように受光器45は、受光要素46が基板上においてX軸方向及びY軸方向の二次元アレイ状に配列されることで、形成されている。各受光要素46は、それぞれ複数ずつの受光素子から構成されている。即ち、各受光要素46毎に複数ずつの受光素子が対応していることから、それら受光素子の応答数に応じて出力値が異なってくる。各受光要素46の受光素子は、例えばシングルフォトンアバランシェダイオード(SPAD:Single Photon Avalanche Diode)等のフォトダイオードを主体として、構築されている。各受光要素46の受光素子は、フォトダイオードアレイの前段にマイクロレンズアレイが積層されることで、一体的に構築されていてもよい。
【0036】
受光器45は、長方形輪郭の受光面47を、基板の片面側に形成している。受光面47は、各受光要素46における入射面の集合体として、構成されている。受光面47の長方形輪郭に対する幾何学中心は、受光レンズ系42の受光光軸上に、又は受光レンズ系42の受光光軸から僅かにずれて、位置合わせされている。各受光要素46は、受光レンズ系42から受光面47へ入射したエコーを、それぞれの受光素子によって受光する。ここで、長方形輪郭を呈する受光面47の長辺側は、Y軸に沿って規定されている。これにより、検出エリアAdにおいてライン状の照射光に対応して、当該照射光に対するエコーは、ライン状に拡がったビームとして各受光要素46の受光素子により受光されることとなる。
【0037】
図2に示すように受光器45は、デコーダ48を一体的に有している。デコーダ48は、受光面47でのエコーの受光に応じて各受光要素46の生成する電気パルスを、サンプリング処理によって順次読み出す。デコーダ48は、順次読み出した電気パルスを、
図6に示す検出フレーム(即ち、検出サイクル)Fdでの検出信号として、制御装置1へと出力する。このとき検出フレームFdは、車両5の起動中において所定時間間隔で繰り返される。デコーダ48の検出信号を受ける制御装置1では、走査ミラー32の回転に伴って各受光要素46の検出したエコーに関しての物理量に基づくことで、検出エリアAd内での物標観測結果を表す画像データDd,Diが、
図8,9に示すように取得される。こうして取得の画像データDd,Diにおいて、縦方向は車両5のY軸方向に対応し、横方向は車両5のX軸方向に対応することになる。
【0038】
図1に示す制御装置1は、例えばLAN(Local Area Network)、ワイヤハーネス、及び内部バス等のうち、少なくとも一種類を介して光学センサ10に接続される。制御装置1は、少なくとも一つの専用コンピュータを含んで構成される。制御装置1を構成する専用コンピュータは、光学センサ10を制御することに特化した、センサECU(Electronic Control Unit)であってもよく、この場合にセンサECUは、筐体11内に収容されていてもよい。制御装置1を構成する専用コンピュータは、車両5の運転を制御する、運転制御ECU(Electronic Control Unit)であってもよい。制御装置1を構成する専用コンピュータは、車両5の走行経路をナビゲートする、ナビゲーションECUであってもよい。制御装置1を構成する専用コンピュータは、車両5の自己状態量を推定する、ロケータECUであってもよい。
【0039】
制御装置1を構成する専用コンピュータは、メモリ1a及びプロセッサ1bを、少なくとも一つずつ有している。メモリ1aは、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。プロセッサ1bは、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、RISC(Reduced Instruction Set Computer)-CPU、DFP(Data Flow Processor)、及びGSP(Graph Streaming Processor)等のうち、少なくとも一種類をコアとして含む。
【0040】
プロセッサ1bは、メモリ1aに記憶された制御プログラムに含まれる複数の命令を、実行する。これにより制御装置1は、光学センサ10を制御するための機能ブロックを、複数構築する。このように制御装置1では、光学センサ10を制御するためにメモリ1aに記憶された制御プログラムが複数の命令をプロセッサ1bに実行させることで、複数の機能ブロックが構築される。制御装置1により構築される複数の機能ブロックには、
図3に示すように距離取得ブロック100、強度取得ブロック110、推定ブロック120、及び除去ブロック130が含まれる。
【0041】
距離取得ブロック100は、
図6に示す検出フレームFdに設定される距離取得期間Pdにおいて、各レーザダイオード24が発振状態となるLDモードに光学センサ10を制御する。LDモードへの制御により光学センサ10から検出エリアAdには、第一強度I1の照射光が断続的なパルス状に照射される。そこで距離取得ブロック100は、第一強度I1の照射光に対して光学センサ10の検出したエコーに基づくことで、検出エリアAdにおける反射物標Trまでの距離値を表すように、
図8に示す三次元点群の距離画像データDdを取得する。このとき、距離画像データDdを構成する各画素値としての距離値は、パルス照射からエコーを検出するまでの光の飛行時間に基づいたdTOF(direct Time Of Flight)により、取得される。
【0042】
距離画像データDdの取得に伴って距離取得ブロック100は、走査モータ35による走査ミラー32の回転駆動も、照射光のパルス照射と同期して制御する。そこで距離取得ブロック100は、走査ミラー32の回転角度に応じた複数の走査ラインLs毎に距離画像データDdを生成することで、それら各走査ラインLs毎の距離画像データDdを距離取得期間Pdに亘って合成可能となっている。ここで、距離画像データDdに関する走査ラインLsは、Y軸方向に対応した縦方向の画素列として、X軸方向に対応した横方向に複数列、設定される。
【0043】
図3に示す強度取得ブロック110は、
図6に示す検出フレームFdにおいて距離取得期間Pdよりも前に設定される強度取得期間Piにおいて、各レーザダイオード24が未発振状態となるLEDモードに光学センサ10を制御する。LEDモードへの制御により光学センサ10から検出エリアAdには、第一強度I1よりも低い第二強度I2の照射光が連続的に照射される。そこで強度取得ブロック110は、第二強度I2の照射光に対して光学センサ10の検出したエコーに基づくことで、検出エリアAdにおける反射物標Trから反射された強度値を表すように、
図9に示す二次元の強度画像データDiを取得する。
【0044】
強度画像データDiの取得に伴って強度取得ブロック110は、走査モータ35による走査ミラー32の回転駆動も、照射光の連続照射と並行して制御する。そこで強度取得ブロック110は、走査ミラー32の回転角度に応じた複数の走査ラインLs毎に強度画像データDiを生成することで、それら各走査ラインLs毎の強度画像データDiを強度取得期間Piに亘って合成可能となっている。ここで、
図9に示すように強度画像データDiの走査ラインLsは、
図8に示す距離画像データDdの走査ラインLsとは、同様に且つ1:1で対応するように設定される。尚、
図8,9では、画像データDd,Diにおける最初、中央、及び最後の走査ラインLsのみが太線枠で図示され、それら以外の走査ラインLsは図示を省略されている。
【0045】
図3に示す推定ブロック120は、各走査ラインLs分が強度取得期間Piに亘って合成された強度画像データDiから、反射物標Trの撮像される物標画素領域Rtを、
図9に示すように探索する。ここで物標画素領域Rtは、距離画像データDdに対応する第一強度I1の照射光に対しては、
図10に示すような例えば標識等の反射物標Trからの強反射によりフレアの発生が予測される、予測閾値以上又は予測閾値超過の強度値を表した画素領域に定義される。この定義が適用される第一実施形態は、強度画像データDiに対応する第二強度I2の照射光に対してはフレアの撮像が可及的に抑制されることを、前提としている。
【0046】
そこで、
図8,9に示すように推定ブロック120は、距離画像データDdにおいては反射物標Trの撮像される物標画素領域Rtの周囲にフレアの撮像が予測されるフレア画素領域Rfを、強度画像データDiにおける物標画素領域Rtの強度値に基づくことで、推定する。尚、
図8,9では、フレア発生の予測される反射物標Trが二点鎖線で仮想的に示されることで、当該反射物標Trと各領域Rt,Rfとが模式的に対応付けられている。
【0047】
推定ブロック120は具体的には、光学センサ10における受光レンズ系42の光学特性Osと、強度画像データDiにおける物標画素領域Rtの強度値とに、相関したフレア画素領域Rfを推定する。ここで光学特性Osは、
図11に示すように反射物標Trの周囲においてフレアの発生確率が設定値以上又は設定値超過となる範囲Efを、与える。そこで光学特性Osは、
図12,13にクロスハッチングで示すように受光レンズ系42へのエコーの入射強度Iiに応じた範囲Efを与えるように、例えば関数式又はテーブル等としてメモリ1aに記憶されている。ここで、第一強度I1に応じた受光レンズ系42へのエコーの入射強度Iiは、第二強度I2に応じた物標画素領域Rtの強度値に関しての例えば代表値又は平均値等から、推定可能となっている。
【0048】
これらのことから推定ブロック120は、受光レンズ系42の光学特性Osと強度画像データDiでの物標画素領域Rtの強度値とに相関する範囲Efに、距離画像データDdにおいて対応すると推定される画素領域を、フレア画素領域Rfとして抽出する。こうしたフレア画素領域Rfの推定は、各走査ラインLs毎に取得される距離画像データDdに対しての推定とも、各走査ラインLs分が距離取得期間Pdに亘って合成される距離画像データDdに対しての推定とも、考えることができる。
【0049】
図3に示す除去ブロック130は、第一実施形態では各走査ラインLs毎の距離画像データDdのうち、
図14に示すようにフレア画素領域Rfの推定された走査ラインLsの距離画像データDdを、抽出する。除去ブロック130は、抽出した走査ラインLsの距離画像データDdにおいて、
図15に太線楕円で囲んで示すようにエコーの検出タイミングが物標画素領域Rtと重畳したフレア画素領域Rfの距離値を、疑似値として除去する。このとき除去とは、該当するフレア画素領域Rfの距離値を表す点群を、距離画像データDdから削除することを、意味する。またこのとき重畳とは、エコーのピーク点が所定の誤差範囲内に検出されることで、ベースライン以上でのエコーの強度波形同士が重なることを、意味する。ここで、光学センサ10に適用されるdTOFでは、エコーの検出タイミングと距離値とが1:1に対応する。故に、検出タイミングに応じた距離値の除去は、フレア画素領域Rfの距離値と物標画素領域Rtの距離値との差分が所定の誤差範囲内に収まる場合に、フレア画素領域Rfの距離値を除去することと、実質的に同義となる。
【0050】
除去ブロック130は、こうしてフレア画素領域Rfの距離値が各走査ラインLs毎に除去された距離画像データDdを、距離取得期間Pdに亘って合成する。そこで除去ブロック130は、フレア画素領域Rfの距離値が除去された距離画像データDdを、例えばタイムスタンプ及び車両5の走行環境情報等のうち少なくとも一種類と関連付けて、メモリ1aに記憶してもよい。除去ブロック130は、フレア画素領域Rfの距離値が除去された距離画像データDdを、例えばタイムスタンプ及び車両5の走行環境情報等のうち少なくとも一種類と関連付けて外部センタに送信することで、当該外部センタの記憶媒体に蓄積させてもよい。
【0051】
ここまで説明したブロック100,110,120,130の共同により、制御装置1が車両5の光学センサ10を制御する制御方法は、
図16に示す制御フローに従って実行される。本制御フローは、車両5の起動中において検出フレームFd毎に繰り返し実行される。尚、制御フローにおける各「S」は、制御プログラムに含まれた複数命令によって実行される複数ステップを、それぞれ意味している。
【0052】
S101において強度取得ブロック110は、今回の検出フレームFdのうち強度取得期間Piにおいて、反射物標Trからのエコーの強度値を表す強度画像データDiを、第二強度I2の照射光に対して取得する。このとき各走査ラインLs分の強度画像データDiは、強度取得期間Piに亘って合成される。
【0053】
続くS102において推定ブロック120は、予測閾値以上又は予測閾値超過の強度値を表した物標画素領域Rtが、強度画像データDiに存在しているか否かを、判定する。その結果、肯定判定が下された場合には、制御フローがS103へ移行する。
【0054】
S103において推定ブロック120は、距離画像データDdのフレア画素領域Rfを、強度画像データDiにおける物標画素領域Rtの強度値に基づき、推定する。このとき、受光レンズ系42の光学特性Osと、強度画像データDiにおける物標画素領域Rtの強度値とに、相関する範囲Efにフレア画素領域Rfが推定される。
【0055】
続くS104において距離取得ブロック100は、今回の検出フレームFdのうち距離取得期間Pdにおいて、反射物標Trまでの距離値を表す距離画像データDdを、第一強度I1の照射光に対して各走査ラインLs毎に取得する。そこで、各走査ラインLsの距離画像データDdが取得される毎に制御フローにおいて移行されるS105では、距離画像データDdの取得された走査ラインLsは、S103によってフレア画素領域Rfが推定された走査ラインLsであるか否かを、除去ブロック130が判定する。その結果、肯定判定が下された場合には、制御フローがS106へ移行する。
【0056】
S106において除去ブロック130は、フレア画素領域Rfの推定された走査ラインLsの距離画像データDdには、エコーの検出タイミングが物標画素領域Rtと重畳したフレア画素領域Rfの距離値は存在するか否かを、判定する。その結果、肯定判定が下された場合には、制御フローがS107へ移行する。S107において除去ブロック130は、フレア画素領域Rfの推定された走査ラインLsの距離画像データDdかtyrty67tら、エコーの検出タイミングが物標画素領域Rtと重畳したフレア画素領域Rfの距離値を、疑似値として除去する。
【0057】
S107の実行が完了した場合、及びS105,S106のそれぞれにおいて否定判定が下された場合には、制御フローがS108へ移行する。S108において距離取得ブロック100は、距離取得期間Pdが完了したか否かを、判定する。その結果、否定判定が下された場合には、制御フローが距離取得ブロック100によるS104へ戻ることで、走査の未完了な次の走査ラインLsに関して距離画像データDdの取得が実行される。一方で肯定判定が下された場合には、制御フローが除去ブロック130によるS109へ移行することで、疑似値の除去された走査ラインLsの距離画像データDdを含む、各走査ラインLs毎の距離画像データDdが、距離取得期間Pdに亘って合成される。S109の実行が完了すると、制御フローの今回実行が終了する。
【0058】
尚、S102において否定判定が下された場合には、制御フローがS110へ移行する。このS110において距離取得ブロック100は、検出フレームFdのうち強度取得期間Piにおける距離画像データDdを、S104と同様に各走査ラインLs毎に取得してから、S109と同様に合成する。S110の実行が完了すると、制御フローの今回実行が終了する。
【0059】
(作用効果)
以上説明した第一実施形態の作用効果を、以下に説明する。
【0060】
第一実施形態によると、検出エリアAdにおいて光を反射する反射物標Trまでの距離値を表す距離画像データDdは、第一強度I1の照射光に対して光学センサ10により検出のエコーに基づき取得される。そこで第一実施形態では、第一強度I1よりも低い第二強度I2の照射光に対して光学センサ10により検出のエコーに基づくことで、検出エリアAdにおける反射物標Trから反射されたエコーの強度値を表す強度画像データDiが、取得される。これによれば、距離画像データDdにおいて反射物標Trの撮像される物標画素領域Rtの周囲にフレアの撮像が予測されるフレア画素領域Rfは、低強度の照明光に応じて当該撮像の抑制された強度画像データDiに基づくことで適正に推定することができる。故に、距離画像データDdにおいてエコーの検出タイミングが物標画素領域Rtと重畳したフレア画素領域Rfの距離値は、フレアの撮像に起因する疑似値であるとして除去され得ることから、光学センサ10での距離値の誤検出を抑制することが可能となる。
【0061】
第一実施形態によると、光学センサ10において発振状態に制御されたレーザダイオード24による第一強度I1の照射光に対して、距離画像データDdが取得される。そこで第一実施形態では、光学センサ10において未発振状態に制御されたレーザダイオード24による第二強度I2の照射光に対して、強度画像データDiが取得される。これによれば、誤検出の抑制対象となる距離画像データDdだけでなく、フレア画素領域Rfを推定するための強度画像データDiを、共通のレーザダイオード24による照射光の強度変化に応じて取得することができる。故に、比較的小型となる光学センサ10によって、距離値の誤検出を抑制することが可能となる。
【0062】
第一実施形態によると、光学センサ10においてエコーを結像する受光レンズ系42の光学特性Osと、強度画像データDiにおける物標画素領域Rtの強度値とに、相関する範囲Efにフレア画素領域Rfが推定される。これによれば、強度画像データDiの強度値から特定され得る物標画素領域Rtの周囲において、フレアの撮像が予測されるフレア画素領域Rfを、光学特性Osに応じた範囲Efに適正に推定することができる。故に、距離画像データDdにおいてエコーの検出タイミングが物標画素領域Rtと重畳したフレア画素領域Rfの距離値を正確に除去して、光学センサ10での距離値の誤検出を抑制することが可能となる。
【0063】
第一実施形態によると、距離取得期間Pdにおいて複数の走査ラインLs毎に距離画像データDdが取得される一方、距離取得期間Pdよりも前の強度取得期間Piにおいてそれら各走査ラインLs毎に強度画像データDiが取得される。これによれば、各走査ラインLs分が強度取得期間Piに亘って合成された強度画像データDiに基づくことで、フレア画素領域Rfが推定された走査ラインLsに限定の距離画像データDdから、疑似値としての距離値を除去することができる。故に、光学センサ10での距離値の誤検出を抑制することが可能である。
【0064】
(第二実施形態)
第二実施形態は、第一実施形態の変形例である。
【0065】
図17に示す第二実施形態において除去ブロック2130は、距離取得ブロック2100が各走査ラインLs分を距離取得期間Pdに亘って合成した距離画像データDdにおいて、
図18に示すように推定ブロック120が推定したフレア画素領域Rfの距離値を、除去対象とする。そこで除去ブロック2130は、合成された距離画像データDdにおいてフレア画素領域Rfの距離値と物標画素領域Rtの距離値とを、対比する。このとき、例えば代表値又は平均値等に設定される物標画素領域Rtの距離値に対して、フレア画素領域Rfの距離値としては、例えば代表値、平均値、又は各画素別の値等が対比される。尚、
図18では、強度画像データDiにおける除去対象を含んだ走査ラインLsのみが太線枠で図示され、それら以外の走査ラインLsは図示を省略されている。
【0066】
対比の結果、フレア画素領域Rfの距離値と物標画素領域Rtの距離値との差分が所定の誤差範囲内に収まる場合に除去ブロック2130は、フレア画素領域Rfの距離値を除去する。ここで第一実施形態と同様に、光学センサ10に適用されるdTOFでは、距離値とエコーの検出タイミングとが1:1に対応する。故に、領域Rf,Rt間での対比による距離値の除去は、エコーの検出タイミングが物標画素領域Rtと重畳したフレア画素領域Rfの距離値を除去することと、実質的に同義となる。
【0067】
こうした第二実施形態の制御フローでは、
図19に示すように、第一実施形態のS104~S109に代わるS2104,S2106,S2107が実行される。S2104において距離取得ブロック2100は、検出フレームFdのうち距離取得期間Pdにおける距離画像データDdを、第一強度I1の照射光に対して各走査ラインLs毎に取得してから、距離取得期間Pdに亘って合成する。
【0068】
続くS2106において除去ブロック2130は、合成された距離画像データDdにおいて、推定されたフレア画素領域Rfの距離値と物標画素領域Rtの距離値との差分が誤差範囲内に収まっているか否かを、判定する。その結果として肯定判定が下された場合、即ちエコーの検出タイミングが物標画素領域Rtと重畳したフレア画素領域Rfの距離値が存在している場合には、制御フローがS2107へ移行する。S2107において除去ブロック2130は、合成された距離画像データDdからフレア画素領域Rfでの疑似値となる距離値、即ちエコーの検出タイミングが物標画素領域Rtと重畳したフレア画素領域Rfの距離値を、除去する。S2107の実行が完了した場合、及びS2106において否定判定が下された場合には、制御フローの今回実行が終了する。
【0069】
このように第二実施形態によると、距離取得期間Pdにおいて複数の走査ラインLs毎に距離画像データDdが取得される一方、距離取得期間Pdよりも前の強度取得期間Piにおいてそれら各走査ラインLs毎に強度画像データDiが取得される。これによれば、各走査ラインLs分が距離取得期間Pdに亘って合成された距離画像データDdにおいて、各走査ラインLs分が強度取得期間Piに亘って合成された強度画像データDiに基づき推定されたフレア画素領域Rfから、疑似値としての距離値を一括して除去することができる。故に、光学センサ10での距離値の誤検出を抑制することが可能である。
【0070】
(第三実施形態)
第三実施形態は、第一実施形態の変形例である。
【0071】
図20に示す第三実施形態の強度取得ブロック3110は、検出フレームFdにおいて
図21に示すように強度画像データDiを取得する強度取得期間Piよりも前又は後(
図21は前の例)に、背景光取得期間Pbを設定する。そこで、背景光取得期間Pbにおいて強度取得ブロック3110は、電流の印加を停止して各レーザダイオード24を非発光状態とする停止モードに、光学センサ10を制御する。
【0072】
図20に示すように強度取得ブロック3110は、停止モードに応じた非照射時における背景光に対して光学センサ10の検出したエコーに基づくことで、検出エリアAdにおいて反射物標Trから反射された強度値を表す二次元の背景光画像データDbを、取得する。このとき背景光の強度は、照明光の第一強度I1よりも、近赤外域において低くなる。換言すれば、第一実施形態で説明した第一強度I1は、近赤外域における背景光の強度よりも高くなるように、設定される。
【0073】
背景光画像データDbの取得に伴って強度取得ブロック3110は、走査モータ35による走査ミラー32の回転駆動も、制御する。そこで強度取得ブロック3110は、走査ミラー32の回転角度に応じた複数の走査ラインLs毎に背景光画像データDbを生成することで、それら各走査ラインLs毎の背景光画像データDbを背景光取得期間Pbに亘って合成可能となっている。
【0074】
こうして取得される各走査ラインLs毎及び合成後の背景光画像データDbにおいて、縦方向は車両5のY軸方向に対応し、横方向は車両5のX軸方向に対応する。そこで、背景光画像データDbの走査ラインLsは、距離画像データDd及び強度画像データDiの各々に関する走査ラインLsとは、同様に且つ1:1で対応するように設定される。
【0075】
第三実施形態の推定ブロック3120は、背景光画像データDbの表す強度値のうち、強度画像データDiから探索された物標画素領域Rtでの強度値を、抽出する。そこで推定ブロック3120は、強度画像データDiの物標画素領域Rtにおける強度値を、背景光画像データDbの物標画素領域Rtにおける強度値での減算によって補正してから、フレア画素領域Rfの推定に利用する。
【0076】
こうした第三実施形態の制御フローは、
図22に示すように、強度取得ブロック3110によるS101の前又は後(
図22は前の例)に、S3100を実行する。S3100において強度取得ブロック3110は、今回の検出フレームFdのうち背景光取得期間Pbにおいて、反射物標Trからのエコーの強度値を表す背景光画像データDbを、照射光の非照射時における背景光に対して取得する。このとき各走査ラインLs分の背景光画像データDbは、背景光取得期間Pbに亘って合成される。
【0077】
第三実施形態の制御フローでは、S103に代わるS3103が実行される。S3013において推定ブロック3120は、背景光画像データDbにおける物標画素領域Rtの強度値によって補正した、強度画像データDiにおける物標画素領域Rtの強度値に基づき、距離画像データDdのフレア画素領域Rfを推定する。
【0078】
このように第三実施形態によると、検出エリアAdにおける反射物標Trから反射されたエコーの強度値を表す背景光画像データDbは、検出エリアAdにおける背景光に対して光学センサ10により検出のエコーに基づき取得される。そこで第三実施形態では、背景光画像データDbにおける物標画素領域Rtの強度値によって補正された、強度画像データDiにおける物標画素領域Rtの強度値に基づくことで、フレア画素領域Rfが高精度に推定され得る。これによれば、距離画像データDdにおいてエコーの検出タイミングが物標画素領域Rtと重畳したフレア画素領域Rfの距離値を正確に除去して、光学センサ10での距離値の誤検出を抑制することが可能となる。
【0079】
(第四実施形態)
第四実施形態は、第三実施形態の変形例である。
【0080】
図23に示す第四実施形態の強度取得ブロック4110は、強度取得期間Piと背景光取得期間Pbとのうち、検出フレームFd毎に設定する期間を、
図24に示すように検出エリアAdの明暗に応じて切り替える。具体的に強度取得ブロック4110は、例えば背景光強度の平均値若しくは代表値が切替閾値未満又は切替閾値以下となる夜間等の暗環境では、光学センサ10をLEDモードに制御して強度画像データDiを取得するように、強度取得期間Piを選択実行する。
【0081】
一方、背景光強度の平均値若しくは代表値が切替閾値以上又は切替閾値超過となる昼間等の明環境において強度取得ブロック4110は、光学センサ10を停止モードに制御して背景光画像データDbを取得するように、背景光取得期間Pbを選択実行する。このとき背景光取得期間Pbは、検出フレームFdにおいて距離取得期間Pdよりも前に、設定される。これらのことから背景光取得期間Pb及び背景光画像データDbは、背景光に対しての強度取得期間及び強度画像データでもあると、考えることができる。
【0082】
ここで、強度取得期間Piと背景光取得期間Pbとの切替基準となる背景光強度は、前回検出フレームFdに取得された強度画像データDi及び距離画像データDdに基づき、又は前回検出フレームFdに取得された背景光画像データDbに基づき、認識される。このとき、前回検出フレームFdの画像データは、メモリ1aのうち
図23に示すデータ記憶部1adに記憶されており、背景光強度の認識に伴って読み出される。尚、こうした認識に加えて又は代えて背景光強度は、車両5のセンサ情報に基づき認識されてもよい。
【0083】
第四実施形態の推定ブロック4120は、強度取得期間Piの設定された検出フレームFdでは、第一実施形態の推定ブロック120と同一処理を実行する。一方、背景光取得期間Pbの設定された検出フレームFdにおいて推定ブロック4120は、各走査ラインLs分が背景光取得期間Pbに亘って合成された背景光画像データDbから、反射物標Trの撮像される物標画素領域Rtを探索する。ここで第四実施形態は、強度画像データDiに対応する第二強度I2の照射光に対してだけでなく、背景光画像データDbに対応する背景光に対しても、フレアの撮像が可及的に抑制されることを、前提としている。
【0084】
そこで推定ブロック4120は、距離画像データDdにおいては物標画素領域Rtの周囲に予測されるフレア画素領域Rfを、背景光画像データDbにおける物標画素領域Rtの強度値に基づくことで、第一実施形態の推定ブロック120に準じて推定する。このとき、第一強度I1に応じた受光レンズ系42へのエコーの入射強度Iiは、背景光の強度に応じた物標画素領域Rtの強度値に関しての例えば代表値又は平均値等から、推定可能である。
【0085】
こうした第四実施形態の制御フローは、
図25に示すように、強度取得ブロック4110によるS101の前にS4100を実行する。S4100において強度取得ブロック4110は、今回の検出フレームFdに設定する期間を、強度取得期間Piと背景光取得期間Pbとのうち検出エリアAdでの背景光強度に応じたいずれかに、切り替える。その結果、切り替えによって強度取得期間Piが選択された場合には、制御フローがS101へ移行することで、強度取得ブロック4110によるS101及び推定ブロック4120によるS102,S103が実行される。一方、切り替えによって背景光取得期間Pbが選択された場合には、制御フローが
図26に示すS4101へ移行する。
【0086】
S4101において強度取得ブロック4110は、今回の検出フレームFdのうち背景光取得期間Pbにおいて、反射物標Trからのエコーの強度値を表す背景光画像データDbを、背景光に対して取得する。このとき各走査ラインLs分の背景光画像データDbは、背景光取得期間Pbに亘って合成される。
【0087】
続くS4102において推定ブロック4120は、予測閾値以上又は予測閾値超過の強度値を表した物標画素領域Rtが、背景光画像データDbに存在しているか否かを、判定する。その結果、否定判定が下された場合には、制御フローが
図25に示すS110へ移行する。一方、
図26に示すように肯定判定が下された場合には、制御フローがS4103へ移行する。
【0088】
S4103において推定ブロック4120は、距離画像データDdのフレア画素領域Rfを、背景光画像データDbの物標画素領域Rtにおける強度値に基づき、推定する。このとき、受光レンズ系42の光学特性Osと背景光画像データDbでの物標画素領域Rtの強度値とに相関する範囲Efに、フレア画素領域Rfが推定される。S4103の実行が完了すると、S103が完了した場合と同様に、制御フローが
図25に示すS104へ移行する。
【0089】
このような第四実施形態によっても、検出エリアAdにおいて光を反射する反射物標Trまでの距離値を表す距離画像データDdは、照射光に対して光学センサ10により検出のエコーに基づき取得される。そこで第四実施形態では、検出エリアAdにおいて照射光よりも強度の低くなる背景光に対して光学センサ10により検出のエコーに基づくことで、検出エリアAdにおける反射物標Trから反射されたエコーの強度値を表す強度画像データとして、背景光画像データDbが取得される。これによれば、距離画像データDdにおいて反射物標Trの撮像される物標画素領域Rtの周囲にフレアの撮像が予測されるフレア画素領域Rfは、低強度の背景光に応じて当該撮像の抑制された背景光画像データDbに基づくことで適正に推定することができる。故に、距離画像データDdにおいてエコーの検出タイミングが物標画素領域Rtと重畳したフレア画素領域Rfの距離値は、フレアの撮像に起因する疑似値であるとして除去され得ることから、光学センサ10での距離値の誤検出を抑制することが可能となる。
【0090】
第四実施形態によると、光学センサ10においてエコーを結像する受光レンズ系42の光学特性Osと、強度画像データとしての背景光画像データDbにおける物標画素領域Rtの強度値とに、相関する範囲Efにフレア画素領域Rfが推定される。これによれば、背景光画像データDbの強度値から特定され得る物標画素領域Rtの周囲において、フレアの撮像が予測されるフレア画素領域Rfを、光学特性Osに応じた範囲Efに適正に推定することができる。故に、距離画像データDdにおいてエコーの検出タイミングが物標画素領域Rtと重畳したフレア画素領域Rfの距離値を正確に除去して、光学センサ10での距離値の誤検出を抑制することが可能となる。
【0091】
第四実施形態によると、距離取得期間Pdにおいて複数の走査ラインLs毎に距離画像データDdが取得される一方、距離取得期間Pdよりも前となる強度取得期間としての背景光取得期間Pbにおいてそれら各走査ラインLs毎に背景光画像データDbが取得される。これによれば、各走査ラインLs分が背景光取得期間Pbに亘って合成された背景光画像データDbに基づくことで、フレア画素領域Rfが推定された走査ラインLsに限定の距離画像データDdから、疑似値としての距離値を除去することができる。故に、光学センサ10での距離値の誤検出を抑制することが可能である。
【0092】
(他の実施形態)
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
【0093】
変形例において制御装置1を構成する専用コンピュータは、車両5との間で通信可能な外部センタ又はモバイル端末を構築する、車両5以外のコンピュータであってもよい。変形例において制御装置1を構成する専用コンピュータは、デジタル回路及びアナログ回路のうち、少なくとも一方をプロセッサとして有していてもよい。ここでデジタル回路とは、例えばASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、SOC(System on a Chip)、PGA(Programmable Gate Array)、及びCPLD(Complex Programmable Logic Device)等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを記憶したメモリを、有していてもよい。
【0094】
変形例の光学センサ10において照射光による検出エリアAdの走査は、鉛直方向での走査に実質制限されてもよい。この場合、投光窓25及び受光面47の長方形輪郭の長辺側は、X軸に沿って規定されるとよい。またこの場合、各画像データDd,Diに関する走査ラインLsは、X軸方向に対応した横方向の画素列として、Y軸方向に対応した縦方向に複数列、設定されるとよい。変形例の光学センサ10では、第一強度I1の照射光を照射する投光器22と、第二強度I2の照射光を照射する投光器22とが、別々に設けられていてもよい。この場合、第二強度I2の照射光を照射する投光器22としては、レーザダイオード24に代えて発光ダイオード(LED)が用いられていてもよい。
【0095】
図27,28に示すように変形例では、第三実施形態において第二実施形態のブロック2100,2130及びS2104,S2106,S2107が、ブロック100,130及びS104~S109に代えて、実施されてもよい。
図29,30に示すように変形例では、第四実施形態において第二実施形態のブロック2100,2130及びS2104,S2106,S2107が、ブロック100,130及びS104~S109に代えて、実施されてもよい。
【0096】
図31,32に示すように変形例では、第二実施形態において第三実施形態の推定ブロック3120及びS3103が、ブロック120及びS103に代えて、実施されてもよい。但し、この場合の推定ブロック3120によるS3103では、物標画素領域Rtに関して距離画像データDdの強度値との対比アルゴリズムによって背景光強度分を減算した、強度画像データDiの強度値に基づくことで、距離画像データDdのフレア画素領域Rfが推定されるとよい。またそのために、推定ブロック3120によるS3103は、距離取得ブロック2100によるS2104に続いて実行されることで、第一強度I1の照射光に対する反射物標Trからのエコーの強度値も含むように距離画像データDdが取得されるとよい。
【0097】
図33,34に示すように変形例では、ブロック4110,4120によるS101~S103が実行されなくてもよい。但し、この場合には、切り替えによって強度取得期間Piが選択されると、制御フローの今回実行が終了することになる。変形例の推定ブロック120,3120,4120によるS103,S3013,S4103では、物標画素領域Rtの周囲においてフレア画素領域Rfが固定の範囲Efに推定されてもよい。この場合、フレアの発生確度が高い固定範囲Efのフレア画素領域Rfから、疑似値を除去することが可能となる。
【0098】
変形例において制御装置1の適用される車両は、例えば外部センタから走行路での走行をリモート制御可能なドローン等であってもよい。ここまでの説明形態の他、上述の実施形態及び変形例は、プロセッサ1b及びメモリ1aを少なくとも一つずつ有した半導体装置(例えば半導体チップ等)として、実施されてもよい。
【符号の説明】
【0099】
1:制御装置、1a:メモリ、1b:プロセッサ、5:車両、10:光学センサ、24:レーザダイオード、42:受光レンズ系、Ad:検出エリア、Dd:距離画像データ、Di:強度画像データ、Db:背景光画像データ、I1:第一強度、I2:第二強度、Ls:走査ライン、Os:光学特性、Rf:フレア画素領域、Rt:物標画素領域、Pd:距離取得期間、Pi:強度取得期間、Pb:背景光取得期間、Tr:反射物標