(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-19
(45)【発行日】2024-07-29
(54)【発明の名称】イメージング装置、車両用灯具、車両、イメージング方法
(51)【国際特許分類】
G01S 7/484 20060101AFI20240722BHJP
G01S 7/487 20060101ALI20240722BHJP
G01S 17/89 20200101ALI20240722BHJP
B60Q 1/00 20060101ALI20240722BHJP
B60Q 1/04 20060101ALI20240722BHJP
B60Q 1/24 20060101ALI20240722BHJP
G03B 15/00 20210101ALI20240722BHJP
G03B 15/03 20210101ALI20240722BHJP
【FI】
G01S7/484
G01S7/487
G01S17/89
B60Q1/00 C
B60Q1/04 E
B60Q1/04 Z
B60Q1/24 Z
G03B15/00 V
G03B15/03
(21)【出願番号】P 2021554334
(86)(22)【出願日】2020-10-14
(86)【国際出願番号】 JP2020038836
(87)【国際公開番号】W WO2021079811
(87)【国際公開日】2021-04-29
【審査請求日】2023-07-27
(31)【優先権主張番号】P 2019192624
(32)【優先日】2019-10-23
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2019208619
(32)【優先日】2019-11-19
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001133
【氏名又は名称】株式会社小糸製作所
(74)【代理人】
【識別番号】100105924
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【氏名又は名称】村田 雄祐
(74)【代理人】
【識別番号】100109081
【氏名又は名称】三木 友由
(72)【発明者】
【氏名】新田 健人
(72)【発明者】
【氏名】杉本 真太郎
(72)【発明者】
【氏名】春瀬 祐太
(72)【発明者】
【氏名】鳥居 輝明
【審査官】藤田 都志行
(56)【参考文献】
【文献】国際公開第2018/124285(WO,A1)
【文献】国際公開第2018/225684(WO,A1)
【文献】特開2009-276248(JP,A)
【文献】特表2017-525952(JP,A)
【文献】国際公開第2017/110414(WO,A1)
【文献】米国特許出願公開第2018/0224552(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48- 7/51
G01S 17/00-17/95
G01C 3/00- 3/32
G01B 11/00-11/30
B60Q 1/00
B60Q 1/04
B60Q 1/24
G03B 15/00
G03B 15/03
G06T 1/00
G06T 7/521
(57)【特許請求の範囲】
【請求項1】
ターゲットまでの距離を検出する測距センサと、
空間的にランダムな強度分布を有する複数の参照光を、シーケンシャルに切りかえて照射する照明装置と、
物体からの反射光を測定する光検出器と、
前記光検出器の出力に、前記測距センサの出力に応じたウィンドウを適用し、ウィンドウに含まれる成分にもとづく検出強度と前記参照光の強度分布の相関計算を行い、前記ターゲットの復元画像を再構成する演算処理装置と、
を備え
、
前記演算処理装置は、
前記光検出器の出力をデジタル信号に変換するA/Dコンバータと、
前記A/Dコンバータの出力に前記ウィンドウを適用し、当該ウィンドウに含まれる成分にもとづく検出強度を生成するウィンドウ処理部と、
を含むことを特徴とするイメージング装置。
【請求項2】
前記測距センサの受光部と前記光検出器は共通化されることを特徴とする請求項1に記載のイメージング装置。
【請求項3】
前記測距センサの発光部と前記照明装置は、光源が共通化されることを特徴とする請求項1に記載のイメージング装置。
【請求項4】
請求項1から
3のいずれかに記載のイメージング装置を備えることを特徴とする車両用灯具。
【請求項5】
請求項1から
3のいずれかに記載のイメージング装置を備えることを特徴とする車両。
【請求項6】
空間的にランダムな強度分布を有する複数の参照光をシーケンシャルに切りかえて照射する照明装置と、
物体からの反射光を測定する光検出器と、
前記光検出器の出力信号の波形を複数のタイムスロットに分割し、タイムスロットごとに検出強度を生成して前記検出強度と前記参照光の強度分布の相関計算を行い復元画像を再構成する演算処理装置と、
を備え
、
後ろのタイムスロットほど、前記光検出器の入射光の強度に対する前記検出強度の比が大きいことを特徴とするイメージング装置。
【請求項7】
前記演算処理装置は、前記光検出器の出力信号をデジタル信号に変換するデジタイザを含み、
後ろのタイムスロットほど、前記デジタイザの1LSB(Least Significant Bit)の幅が大きいことを特徴とする請求項
6に記載のイメージング装置。
【請求項8】
前記デジタイザは、1個のA/Dコンバータを含み、後ろのタイムスロットほど、前記A/Dコンバータに供給される基準電圧が低いことを特徴とする請求項
7に記載のイメージング装置。
【請求項9】
前記デジタイザは、異なる基準電圧が供給される複数のA/Dコンバータを含み、タイムスロットごとに複数のA/Dコンバータが時分割で使用されることを特徴とする請求項
7に記載のイメージング装置。
【請求項10】
感度が異なる少なくともひとつの光検出器をさらに備え、
後ろのタイムスロットほど、感度が高い光検出器が使用されることを特徴とする請求項
6に記載のイメージング装置。
【請求項11】
タイムスロットごとに復元された画像は、各タイムスロットの時間情報に対応する距離情報とともに保存されることを特徴とする請求項
6から9のいずれかに記載のイメージング装置。
【請求項12】
請求項
6から11のいずれかに記載のイメージング装置を備えることを特徴とする車両用灯具。
【請求項13】
請求項
6から11のいずれかに記載のイメージング装置を備えることを特徴とする車両。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、相関計算を利用したイメージング装置に関する。
【背景技術】
【0002】
自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
【0003】
イメージング装置(センサ)のひとつとして、ゴーストイメージングの原理を利用したもの(以下、量子レーダカメラともいう)が知られている。ゴーストイメージングは、参照光の強度分布(パターン)をランダムに切り替えながら物体に照射し、パターンごとに反射光の光検出強度を測定する。光検出強度はある平面にわたるエネルギーあるいは強度の積分値であり、強度分布ではない。そして、対応するパターンと光検出強度との相関計算を行い、物体の復元画像を再構成(reconstruct)する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
課題1. 本発明者らは、従来の量子レーダカメラについて検討した結果、以下の課題1を認識するに至った。
図1は、従来の量子レーダカメラによる撮影シーンを示す図である。量子レーダカメラ2とターゲット4の間に、濃い霧6が存在している。量子レーダカメラ2は、前方に、強度分布(パターン)がランダムに変調された参照光S1を照射し、ターゲット4からの反射光S2の強度を検出する。参照光S1のパターンを変化させながら繰り返し測定を行い、相関計算を行うことでターゲット4の画像が復元される。
【0006】
図2は、
図1の撮影シーンのタイムチャートを示す図である。上段は、量子レーダカメラが出力する参照光を、下段は、量子レーダカメラに入射する反射光を示す。時刻t
0に、あるパターンに変調された参照光が照射される。参照光の一部は、霧6において反射され、時刻t
1に量子レーダカメラに入射する。量子レーダカメラ2と霧6の距離をd
1とするとき、t
1=t
0+2×d
1/cとなる。cは光速である。
【0007】
また参照光の残りは、霧6を透過し、ターゲット4によって反射され、再び霧6を透過して量子レーダカメラ2に入射する。量子レーダカメラ2とターゲット4の距離をd2とするとき、t2=t0+2×d2/cとなる。
【0008】
時刻t2~t3の期間において量子レーダカメラ2に入射する反射光の成分bが、ターゲット4の形状と相関を有する一方、時刻t1~t2の期間において量子レーダカメラ2に入射する反射光の成分aは、ターゲット4の形状と相関を有さないノイズである。従来の量子レーダカメラ2では、その光検出器によって、反射光の成分a,bの両方を積算して得られた光検出強度を用いて相関計算を行っていたため、霧等が存在すると画質が劣化するという問題があった。
【0009】
課題2. 本発明者らは、従来の量子レーダカメラについて検討した結果、以下の課題2を認識するに至った。
図3(a)は、従来の量子レーダカメラによる撮影シーンを示す図であり、
図3(b)は、
図3(a)の撮影シーンで得られる画像を示す図である。
図3(a)の撮影シーンにおいて、量子レーダカメラ2から異なる距離に、複数の物体4が存在している。量子レーダカメラ2は、前方に、強度分布(パターン)がランダムに変調された参照光S1を照射し、物体4からの反射光S2の強度を検出する。参照光S1のパターンを変化させながら繰り返し測定を行い、相関計算を行うことで
図3(b)に示す複数の物体4を含む画像が復元される。
【0010】
ここで、遠い物体4bからの反射光の強度は、近い物体4aからの反射光の強度よりも小さい。そのため、1フレーム内に、距離が異なる複数の物体が存在する場合、遠い方の物体の像が不鮮明となる。
【0011】
本開示は係る状況においてなされたものである。
【課題を解決するための手段】
【0012】
1. 本開示のある態様は、イメージング装置に関する。イメージング装置は、ターゲットまでの距離を検出する測距センサと、空間的にランダムな強度分布を有する複数の参照光を、シーケンシャルに切りかえて照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力に、測距センサの出力に応じたウィンドウを適用し、ウィンドウに含まれる成分にもとづく検出強度と参照光の強度分布の相関計算を行い、ターゲットの復元画像を再構成する演算処理装置と、を備える。
【0013】
2. 本開示のある態様は、イメージング装置に関する。イメージング装置は、空間的にランダムな強度分布を有する複数の参照光をシーケンシャルに切りかえて照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力信号の波形を複数のタイムスロットに分割し、タイムスロットごとに検出強度を生成して、検出強度と参照光の強度分布の相関計算を行い復元画像を再構成する演算処理装置と、を備える。
【発明の効果】
【0014】
本開示のある態様によれば、イメージング装置の画質を改善できる。
【図面の簡単な説明】
【0015】
【
図1】従来の量子レーダカメラによる撮影シーンを示す図である。
【
図2】
図1の撮影シーンのタイムチャートを示す図である。
【
図3】
図3(a)は、従来の量子レーダカメラによる撮影シーンを示す図であり、
図3(b)は、
図3(a)の撮影シーンで得られる画像を示す図である。
【
図4】実施形態1に係るイメージング装置を示す図である。
【
図5】
図1の撮影シーンにおける、
図4のイメージング装置の動作を示すタイムチャートである。
【
図6】
図4のイメージング装置の利用に適した別の撮影シーンを示す図である。
【
図7】
図6の撮影シーンにおける、
図4のイメージング装置の動作を示すタイムチャートである。
【
図8】実施形態2に係るイメージング装置を示す図である。
【
図9】
図8のイメージング装置の動作を説明する図である。
【
図10】実施形態3に係るイメージング装置の構成例を示す図である。
【
図12】
図12(a)~(c)は、実施形態3に係るイメージング装置の変形例を示す図である。
【
図14】物体識別システムを備える自動車のブロック図である。
【
図15】物体検出システムを備える車両用灯具を示すブロック図である。
【発明を実施するための形態】
【0016】
(実施形態の概要)
本明細書における「強度分布がランダム」とは、完全なランダムであることを意味するものではなく、ゴーストイメージングにおいて画像を再構築できる程度に、ランダムであればよい。したがって本明細書における「ランダム」は、その中にある程度の規則性を内包することができる。また「ランダム」は、予測不能であることを要求するものではなく、予想可能、再生可能であってもよい。
【0017】
本明細書に開示される一実施形態は、イメージング装置に関する。イメージング装置は、ターゲットまでの距離を検出する測距センサと、空間的にランダムな強度分布を有する複数の参照光を、シーケンシャルに切りかえて照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力に、測距センサの出力に応じたウィンドウを適用し、ウィンドウに含まれる成分にもとづく検出強度と参照光の強度分布の相関計算を行い、ターゲットの復元画像を再構成する演算処理装置と、を備える。
【0018】
この構成によれば、ターゲットからの反射光のみを抽出して相関計算に利用するため、ターゲット以外の影響を取り除くことができ、画質を改善できる。
【0019】
測距センサの受光部と光検出器は共通化されてもよい。これにより測距センサを追加したことによるコスト増を抑制できる。
【0020】
測距センサの発光部と照明装置は、光源が共通化されてもよい。これにより測距センサを追加したことによるコスト増を抑制できる。
【0021】
本明細書に開示される一実施の形態は、イメージング装置に関する。イメージング装置は、空間的にランダムな強度分布を有する複数の参照光をシーケンシャルに切りかえて照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力信号の波形を複数のタイムスロットに分割し、タイムスロットごとに検出強度を生成して、検出強度と参照光の強度分布の相関計算を行い復元画像を再構成する演算処理装置と、を備える。
【0022】
距離が異なる複数の物体からの反射光は、異なる時刻に光検出器に入射する。そこで光検出器の出力信号の波形を、タイムスロットを区切って処理することにより、異なる距離に位置する複数の物体を分離し、物体ごとの検出強度を得ることができる。物体ごとに相関計算を行って得られる物体ごとの復元画像の画質は、複数の物体を含む1枚の復元画像の画質に比べて、改善されたものとなる。ここでの「画質が改善される」とは、視認性が高くなること、あるいは、復元画像を信号処理したときに得られる結果や精度が改善されることを意味する。
【0023】
後ろのタイムスロットほど、光検出器の入射光の強度に対する検出強度の比(すなわちゲイン)が大きくてもよい。これにより、物体が遠ざかるにしたがって低下する反射光の強度を補うことができ、より画質を改善できる。
【0024】
演算処理装置は、光検出器の出力信号をデジタル信号に変換するデジタイザを含んでもよい。後ろのタイムスロットほど、デジタイザの1LSB(Least Significant Bit)の幅が大きくてもよい。
【0025】
デジタイザは1個のA/Dコンバータを含み、後ろのタイムスロットほど、A/Dコンバータに供給される基準電圧が低くてもよい。
【0026】
デジタイザは、異なる基準電圧が供給される複数のA/Dコンバータを含み、タイムスロットごとに複数のA/Dコンバータが時分割で使用されてもよい。
【0027】
イメージング装置は、感度が異なる少なくともひとつの光検出器をさらに備えてもよい。後ろのタイムスロットほど、感度が高い光検出器が使用されてもよい。
【0028】
あるタイミングに出射した参照光が、距離dに位置する物体により反射され、光検出器に入射するまでの遅延時間τは、
τ=2×d/c
で与えられる。cは光速である。ここで、τは、参照光とタイムスロットの時間差に対応付けることができる。そこで、タイムスロットごとに復元された画像を、各タイムスロットの時間情報に対応する距離情報と対応付けて保存してもよい。これによりイメージング装置を、測距センサとして機能させることができる。
【0029】
(実施形態)
以下、本開示を好適な実施形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、開示を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも開示の本質的なものであるとは限らない。
【0030】
(実施形態1)
図4は、実施形態1に係るイメージング装置100を示す図である。イメージング装置100はゴーストイメージングの原理を用いた相関関数イメージセンサであり、照明装置110、光検出器120、演算処理装置130および測距センサ140を備える。イメージング装置100を、量子レーダカメラとも称する。
【0031】
測距センサ140は、イメージング装置100の前方に位置する複数の物体OBJから選択されるひとつのターゲットTGTまでの距離dを測定する。測距センサ140の方式は限定されないが、ミリ波レーダなどを用いることができる。
【0032】
照明装置110は、疑似熱光源であり、実質的にランダムとみなしうる空間強度分布I(x,y)を有する参照光S1を生成し、物体OBJに照射する。参照光S1は、その強度分布を複数のM回、ランダムに変化させながらシーケンシャルに照射される。
【0033】
照明装置110は、光源112、パターニングデバイス114およびパターン発生器132を含む。光源112は、均一な強度分布を有する光S0を生成する。光源112は、レーザや発光ダイオードなどを用いてもよい。参照光S1の波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長を含む単色光であってもよい。参照光S1の波長は、赤外あるいは紫外であってもよい。
【0034】
パターニングデバイス114は、マトリクス状に配置される複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布Iを空間的に変調可能に構成される。本明細書においてオン状態の画素をオン画素、オフ状態の画素をオフ画素という。なお、以下の説明では理解の容易化のために、各画素は、オンとオフの2値(1,0)のみをとるものとするがその限りでなく、中間的な階調をとってもよい。
【0035】
パターニングデバイス114としては、反射型のDMD(Digital Micromirror Device)や透過型の液晶デバイスを用いることができる。パターニングデバイス114には、パターン発生器132が発生するパターン信号PTN(画像データ)が与えられている。
【0036】
パターン発生器132は、参照光S1の強度分布Irを指定するパターン信号PTNrを発生し、時間とともにパターン信号PTNrを切り替える(r=1,2,…M)。
【0037】
光検出器120は、物体OBJからの反射光を測定し、検出信号Drを出力する。この検出信号Drには、ターゲット以外の物体OBJからの反射光も含まれている。検出信号Drは、強度分布Irを有する参照光を物体OBJに照射したときに、光検出器120に入射する光エネルギー(あるいは強度)の空間的な積分値である。したがって光検出器120は、シングルピクセルの光検出器(フォトディテクタ)を用いることができる。光検出器120からは、複数M通りの強度分布I1~IMそれぞれに対応する複数の検出信号D1~DMが出力される。光検出器120の出力はアナログ電気信号であり、A/Dコンバータによってデジタル信号に変換され、演算処理装置130に取り込まれる。
【0038】
演算処理装置130は、光検出器120の出力である検出信号Drの時間波形に、測距センサ140の出力に応じた時間ウィンドウを適用し、時間ウィンドウに含まれる信号Dr’を抽出する。そしてこの成分Dr’にもとづく検出強度brと参照光の強度分布Ir(x,y)の相関計算を行い、ターゲットTGTの復元画像G(x,y)を再構成する。
【0039】
演算処理装置130は、パターン発生器132、再構成処理部134、ウィンドウ処理部136を含む。ウィンドウ処理部136には、測距センサ140の出力、すなわちターゲットTGTまでの距離情報dが入力される。ウィンドウ処理部136は、照明装置110の発光タイミングから、距離情報dに応じた時間τ経過後に開く時間ウィンドウWINDを生成する。時間τは、以下のように定めることができる。
τ=2×d/c
時間ウィンドウWINDの長さTwは、参照光S1のパルス幅(持続時間)と同程度とすればよい。
【0040】
ウィンドウ処理部136は、光検出器120の出力にもとづく検出信号Drを受け、時間ウィンドウWINDを適用し、時間ウィンドウWINDが開いている期間Twに含まれる信号成分Dr’を抽出する。
【0041】
ウィンドウ処理部136の構成は限定されず、デジタル領域で構成してもよいし、アナログ領域で構成してもよい。たとえばウィンドウ処理部136に、A/Dコンバータ(デジタイザ)によってデジタル信号に変換した後の検出信号Drの波形を入力し、この波形から、距離に応じた一部分を切り出してもよい。あるいは、A/Dコンバータを、ウィンドウ処理部136として利用してもよい。具体的には、A/Dコンバータの取り込みの期間を、時間ウィンドウWINDが開く期間と一致させてもよい。
【0042】
再構成処理部134は、ウィンドウ処理部136によって抽出された信号成分Dr’にもとづいて、検出強度brを生成する。
【0043】
検出強度brと検出信号Dr’の関係は、光検出器120の種類や方式などを考慮して定めればよい。
【0044】
ある強度分布Irの参照光S1を、ある照射期間にわたり照射するとする。また検出信号Dr’は、ある時刻(あるいは微小時間)の受光量、すなわち瞬時値を表すとする。この場合、照射期間において検出信号Dr’を複数回サンプリングし、検出信号Dr’の全サンプリング値の積分値、平均値あるいは最大値を検出強度brとしてもよい。あるいは、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を用いてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列x番目からy番目を抽出してもよいし、任意のしきい値より低いサンプリング値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
【0045】
再構成処理部134は、複数の強度分布(ランダムパターンともいう)I
1~I
Mと、複数の検出強度b
1~b
Mの相関計算を行い、物体OBJの復元画像G(x,y)を再構成する。相関計算には式(1)が用いられる。
【数1】
【0046】
演算処理装置130は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、マイコンなどのプロセッサ(ハードウェア)と、プロセッサ(ハードウェア)が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置130は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置130はハードウェアのみで構成してもよい。
【0047】
以上がイメージング装置100の構成である。続いてその動作を説明する。
【0048】
図1の撮影シーンに戻り、従来の量子レーダカメラ2に代えて、実施形態1に係るイメージング装置100を用いたときの動作を説明する。
図5は、
図1の撮影シーンにおける、
図4のイメージング装置100の動作を示すタイムチャートである。参照光S1の照射に先立つ時刻t
0に、測距センサ140によりターゲット4までの距離dが検出される。ひとつのパターンの参照光S1は、時刻t
1から期間Tpの間、照射される。参照光S1は、イメージング装置100の前方にある霧6およびターゲット4によって反射され、光検出器120に入射する。この撮影シーンでは、光検出器120に入射する反射光S2には、霧6からの反射光とターゲット4からの反射光が含まれ、検出信号D
rは、霧6に対応する信号成分aと、ターゲット4に対応する成分bを含むこととなる。
【0049】
ウィンドウ信号WINDは、時刻t1から時間τ(=2×d/c)経過後の時刻t2に開き、それから所定時間Twの間、開区間となる。ウィンドウの開区間は、ターゲット4からの反射光が光検出器120に入射する期間と実質的に一致する。したがってウィンドウ信号WINDを利用することにより、信号成分bのみを含む信号Dr’を抽出できる。抽出した信号Dr’にもとづく検出強度brを相関計算に利用することで、霧6の影響を低減し、ターゲット4の復元画像を鮮明化することができる。このように実施形態1に係るイメージング装置100によれば、画質を改善できる。
【0050】
図6は、
図4のイメージング装置100の利用に適した別の撮影シーンを示す図である。イメージング装置100の前方には3個の物体OBJ
1~OBJ
3が存在し、イメージング装置100との距離がそれぞれ、d
1,d
2,d
3であるとする。
【0051】
図7は、
図6の撮影シーンにおける、
図4のイメージング装置100の動作を示すタイムチャートである。たとえば中央の物体OBJ
2をターゲットとする。参照光S1の照射に先立つ時刻t
0に、測距センサ140によりターゲットOBJ
2までの距離d
2が検出される。参照光S1は、3個の物体OBJ
1~OBJ
3によって反射され、光検出器120に入射する。この撮影シーンでは、光検出器120に入射する反射光S2には、3つの物体OBJ
1~OBJ
3からの反射光が含まれ、検出信号D
rは、3つの物体OBJ
1~OBJ
3に対応する信号成分a~cを含む。
【0052】
ウィンドウ信号WINDは、時刻t1から時間τ(=2×d2/c)経過後の時刻t2に開き、それから期間Tpの間、開区間となる。ウィンドウの開区間は、中央のターゲットOBJ2からの反射光が光検出器120に入射する期間と実質的に一致する。したがってウィンドウ信号WINDを利用することにより、信号成分bのみを含む信号Dr’を抽出できる。抽出した信号Dr’にもとづく検出強度brを相関計算に利用することで、ターゲット以外の物体OBJ1,OBJ3の影響を低減し、ターゲットOBJ2の復元画像を得ることができる。
【0053】
このように実施形態1に係るイメージング装置100によれば、異なる距離に複数の物体が存在する場合に、ひとつの物体のみを選択的に撮影することが可能となる。このイメージング装置100の動作は、撮影対象の位置、すなわちフォーカスを制御していると把握することができる。
【0054】
続いて実施形態1に関連する変形例を説明する。
【0055】
(変形例1)
測距センサ140の受光部と、光検出器120は共通化してもよい。これにより測距センサ140を追加したことによるコスト増を抑制できる。
【0056】
(変形例2)
また測距センサ140の発光部と照明装置110は、光源を共通化して構成してもよい。これにより測距センサ140を追加したことによるコスト増を抑制できる。
【0057】
(変形例3)
実施形態1では、照明装置110を、光源112とパターニングデバイス114の組み合わせで構成したがその限りでない。たとえば照明装置110は、マトリクス状に配置される複数の半導体光源(LED(発光ダイオード)やLD(レーザダイオード))のアレイで構成し、個々の半導体光源のオン、オフ(あるいは輝度)を制御可能に構成してもよい。
【0058】
(実施形態2)
図8は、実施形態2に係るイメージング装置100を示す図である。イメージング装置100はゴーストイメージングの原理を用いた相関関数イメージセンサであり、照明装置110、光検出器120および演算処理装置130を備える。イメージング装置100を、量子レーダカメラとも称する。
【0059】
照明装置110は、疑似熱光源であり、実質的にランダムとみなしうる空間強度分布I(x,y)を有する参照光S1を生成し、物体OBJに照射する。参照光S1は、その強度分布を複数のM回、ランダムに変化させながらシーケンシャルにパルス照射される。
【0060】
照明装置110は、光源112、パターニングデバイス114およびパターン発生器132を含む。光源112は、均一な強度分布を有する光S0を生成する。光源112は、レーザや発光ダイオードなどを用いてもよい。参照光S1の波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長を含む単色光であってもよい。参照光S1の波長は、赤外あるいは紫外であってもよい。
【0061】
パターニングデバイス114は、マトリクス状に配置される複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布Iを空間的に変調可能に構成される。本明細書においてオン状態の画素をオン画素、オフ状態の画素をオフ画素という。なお、以下の説明では理解の容易化のために、各画素は、オンとオフの2値(1,0)のみをとるものとするがその限りでなく、中間的な階調をとってもよい。
【0062】
パターニングデバイス114としては、反射型のDMD(Digital Micromirror Device)や透過型の液晶デバイスを用いることができる。パターニングデバイス114には、パターン発生器132が発生するパターン信号PTN(画像データ)が与えられている。
【0063】
パターン発生器132は、参照光S1の強度分布Irを指定するパターン信号PTNrを発生し、時間とともにパターン信号PTNrをシーケンシャルに切り替える(r=1,2,…M)。
【0064】
光検出器120は、物体OBJからの反射光を測定し、検出信号Drを出力する。検出信号Drは、強度分布Irを有する参照光を物体OBJに照射したときに、光検出器120に入射する光エネルギー(あるいは強度)の空間的な積分値である。したがって光検出器120は、シングルピクセルの光検出器(フォトディテクタ)を用いることができる。光検出器120からは、複数M通りの強度分布I1~IMそれぞれに対応する複数の検出信号D1~DMが出力される。検出信号Dr(r=1~M)はアナログ電気信号であり、A/Dコンバータによってデジタル信号に変換され、演算処理装置130に取り込まれる。
【0065】
演算処理装置130は、光検出器120の出力である検出信号Drの時間波形を複数N個(N≧2)のタイムスロットに分割する。i番目(i=1,2,…N)のタイムスロットの検出信号の波形(スロット波形)をDr
[i]と表記する。演算処理装置130は、タイムスロットごとに、スロット波形Dr
[i]にもとづいて検出強度br
[i]を生成する。そして、タイムスロットごとに、検出強度b1
[i]~bM
[i]と、参照光の強度分布I1(x,y)~IM(x,y)の相関計算を行い、復元画像G(x,y)[i]を再構成する。
【0066】
演算処理装置130は、パターン発生器132、再構成処理部134、タイムスロット分割部138を含む。タイムスロット分割部138は、光検出器120の出力である検出信号Drの時間波形を複数N個のタイムスロットに分割し、複数のタイムスロットに対応する複数の検出強度br
[1]~br
[N]を出力する。
【0067】
タイムスロット分割部138の構成は限定されず、デジタル領域で構成してもよいし、アナログ領域で構成してもよい。
【0068】
検出強度br
[i]とスロット波形Dr
[i]の関係は、光検出器120の種類や方式などを考慮して定めればよい。
【0069】
あるタイムスロットにおける検出強度br
[i]は、対応するスロット波形Dr
[i]に含まれる全サンプリング値の積分値、平均値あるいは最大値のいずれかであってもよい。あるいは、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を用いてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列x番目からy番目を抽出してもよいし、任意のしきい値より低いサンプリング値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
【0070】
再構成処理部134はタイムスロット(i=1,2…N)ごとに、複数の強度分布(ランダムパターンともいう)I
1~I
Mと、複数の検出強度b
1
[i]~b
M
[i]の相関計算を行い、タイムスロットごとの復元画像G(x,y)
[i]を再構成する。相関計算には式(1)が用いられる。
【数2】
【0071】
演算処理装置130は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、マイコンなどのプロセッサ(ハードウェア)と、プロセッサ(ハードウェア)が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置130は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置130はハードウェアのみで構成してもよい。
【0072】
以上がイメージング装置100の構成である。続いてその動作を説明する。
図9は、
図8のイメージング装置100の動作を説明する図である。ここでは
図1と同様に、イメージング装置100から異なる距離に、2個の物体OBJ1,OBJ2が存在する撮影シーンを想定する。たとえば物体OBJ1までの距離d
1は15m、物体OBJ2までの距離d
2は30mである。
【0073】
参照光S1は、強度分布をM通りに切り替えながら、パルス照射される。異なる距離に2個の物体が存在する場合、光検出器120の出力波形Drは、2つの波形に分離し、2つのピークが現れる.2個の波形のうち、先の波形は、近い物体OBJ1からの反射光に対応付けられ、後ろの波形は、遠い物体OBJ2からの反射光に対応付けられる。
【0074】
この例において、一番目の波形は、一番目(i=1)のタイムスロットに含まれており、二番目の波形は、二番目(i=2)のタイムスロットに含まれている。そしてパルス照射ごと(rごと)に、2個のタイムスロットそれぞれについて、検出強度br
[1]、br
[2]が生成される。
【0075】
そして、一個目のタイムスロットについて得られた検出強度群b1
[1],b2
[1]…bM
[1]と、強度分布I1(x,y),I2(x,y)…IM(x,y)の相関計算を行うことにより、近い物体の復元画像G(x,y)[1]が生成される。同様に、二個目のタイムスロットについて得られた検出強度群b1
[2],b2
[2]…bM
[2]と、強度分布I1(x,y),I2(x,y)…IM(x,y)の相関計算を行うことにより、遠い物体の復元画像G(x,y)[2]が生成される。
【0076】
以上がイメージング装置100の動作である。このイメージング装置100によれば、光検出器120の出力信号の波形を、タイムスロットを区切って処理することにより、異なる距離に位置する複数の物体を分離し、物体ごとの検出強度を得ることができる。そして、タイムスロットごとに相関計算を行うことにより、タイムスロットごとの復元画像を得ることができる。ひとつのタイムスロットに対応する復元画像は、イメージング装置100の前方を、奥行き方向に分割したスライス画像となる。タイムスロットごとの復元画像の画質は、複数の物体を含む1枚の復元画像の画質に比べて、改善されたものとなる。ここでいう画質の改善とは、視認性が高くなること、あるいは、復元画像を信号処理したときに得られる結果や精度が改善されることを意味する。
【0077】
複数のタイムスロットに対応する複数の復元画像を合成し、1枚の最終的な復元画像を生成してもよい。合成に先だって、複数の復元画像それぞれの明るさやコントラストを最適化してもよい。
【0078】
あるタイミングに出射した参照光が、距離dに位置する物体により反射され、光検出器に入射するまでの遅延時間τは、
τ=2×d/c
で与えられる。cは光速である。ここで、τは、参照光とタイムスロットの時間差に対応付けることができる。この式を変形すると、物体までのおおよその距離dが計算できる。
d=τ×c/2
そこで、タイムスロットごとに復元された画像を、各タイムスロットの時間情報(すなわちτ)に対応する距離情報と対応付けて保存してもよい。これによりイメージング装置100を、測距センサとして機能させることができる。
【0079】
続いて、タイムスロットの位置、幅、個数の決め方について説明する。
【0080】
たとえば、複数のタイムスロットの位置、幅、個数は、予め固定して定めておいてもよい。たとえば車載用途では、5~10m、10~30m、30~50m、50~100mのように、測定レンジを定めておき、測定レンジそれぞれについて、それに含まれる物体が写るように、タイムスロットの位置や幅を決めておいてもよい。
【0081】
あるいは、複数のタイムスロットの位置や幅は、光検出器120の出力信号の波形の形状にもとづいて動的に決めてもよい。
【0082】
あるいは、複数の物体までの距離が測定可能である場合には、測定した距離情報にもとづいて、複数のタイムスロットの位置や幅を動的に決定してもよい。
【0083】
(実施形態3)
図10は、実施形態3に係るイメージング装置100Aの構成例を示す図である。実施形態3において、後ろのタイムスロットほど、光検出器120への入射光の強度に対する、検出強度b
r
[i]の比(ゲインg
[i])が大きくなっている。
【0084】
具体的には、タイムスロット分割部138における、スロット波形Dr[i]から検出強度br
[i]への変換処理における変換ゲインg[i]が、後ろのスロットほど大きくなっている。
【0085】
図11(a)、(b)は、
図10のタイムスロット分割部138の構成例を示す図である。タイムスロット分割部138は、光検出器120の出力信号をデジタル信号に変換するデジタイザ150を含んでおり、後ろのタイムスロットほど、デジタイザ150の1LSB(Least Significant Bit)の幅が大きくなるように構成されている。
【0086】
図11(a)では、デジタイザ150は、1個のA/Dコンバータ152と、可変電圧源154を含む。可変電圧源154は、タイムスロットの番号に応じた基準電圧V
REF
[i]を生成し、A/Dコンバータ152に供給する。基準電圧V
REF
[i]は後ろのタイムスロットほど低い。i番目およびj番目のタイムスロットにおける基準電圧V
REF
[i]、V
REF
[j]の間には以下の関係式が成り立つ。
V
REF
[i]≧V
REF
[j] (ただしi<j)
【0087】
図11(b)では、デジタイザ150は、複数のA/Dコンバータ152_1~152_Kを含む。複数のA/Dコンバータ152_1~152_Kには、異なる基準電圧V
REF
[1]~V
REF
[K]が供給される。基準電圧V
REF
[1]~V
REF
[K]には以下の関係式が成り立つ。
V
REF
[1]>V
REF
[2]>…>V
REF
[K]
【0088】
複数のA/Dコンバータ152_1~152_Kの前段には、デマルチプレクサDEMUXが、後段にはマルチプレクサMUXが配置され、タイムスロットごとに複数のA/Dコンバータが時分割で切り替えて使用される。
【0089】
後ろのタイムスロットとなるほど、検出信号Drの強度(振幅)は低下していく。したがってA/Dコンバータ152の基準電圧VREFを固定すると、後ろのタイムスロットとなるほど、A/Dコンバータ152が生成するデジタル信号の値は小さくなり、照射パターン(強度分布)ごとのエネルギー変化が見えにくくなる。これに対して本実施の形態では、A/Dコンバータ152の基準電圧VREFを後ろのタイムスロットほど小さくすることにより、照射パターン(強度分布)ごとの微弱なエネルギー変化に対する検出感度を高めることができ、後ろのタイムスロットに含まれる遠方の物体の画質を改善できる。
【0090】
続いて実施形態2,3に関連する変形例を説明する。
【0091】
(変形例1)
実施形態3における変形例を説明する。
図12(a)~(c)は、実施形態3に係るイメージング装置100Aの変形例を示す図である。
図12(a)では、イメージング装置100Aは感度が可変である光検出器120を備え、光検出器120の感度が、タイムスロットに応じて制御される。
図12(b)では、イメージング装置100Aは、光検出器120の出力信号を増幅する可変アンプを備え、可変アンプのゲインが、タイムスロットに応じて制御される。
図12(c)では、イメージング装置100Aは、感度が異なる複数の光検出器120_1~120_Kを備え、タイムスロットごとに複数の光検出器120_1~120_Kが時分割で使用され、後ろのタイムスロットでは高感度の光検出器120が使用される。
【0092】
(変形例2)
実施形態2,3では、照明装置110を、光源112とパターニングデバイス114の組み合わせで構成したがその限りでない。たとえば照明装置110は、マトリクス状に配置される複数の半導体光源(LED(発光ダイオード)やLD(レーザダイオード))のアレイで構成し、個々の半導体光源のオン、オフ(あるいは輝度)を制御可能に構成してもよい。
【0093】
(用途)
続いてイメージング装置100の用途を説明する。
図13は、物体識別システム10のブロック図である。この物体識別システム10は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体OBJの種類(カテゴリ)を判定する。
【0094】
物体識別システム10は、イメージング装置100と、演算処理装置40を備える。イメージング装置100は、上述のように、物体OBJに参照光S1を照射し、反射光S2を測定することにより、物体OBJの復元画像Gを生成する。
【0095】
演算処理装置40は、イメージング装置100の出力画像Gを処理し、物体OBJの位置および種類(カテゴリ)を判定する。
【0096】
演算処理装置40の分類器42は、画像Gを入力として受け、それに含まれる物体OBJの位置および種類を判定する。分類器42は、機械学習によって生成されたモデルにもとづいて実装される。分類器42のアルゴリズムは特に限定されないが、YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)、R-CNN(Region-based Convolutional Neural Network)、SPPnet(Spatial Pyramid Pooling)、Faster R-CNN、DSSD(Deconvolution -SSD)、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
【0097】
以上が物体識別システム10の構成である。物体識別システム10のセンサとして、イメージング装置100を用いることで、以下の利点を得ることができる。
【0098】
イメージング装置100すなわち量子レーダカメラを用いることで、ノイズ耐性が格段に高まる。たとえば、降雨時、降雪時、あるいは霧の中を走行する場合、肉眼では物体OBJを認識しにくいが、イメージング装置100を用いることで、雨、雪、霧の影響を受けずに、物体OBJの復元画像Gを得ることができる。
【0099】
また、イメージング装置100を用いることで、計算遅延を小さくできる。これにより低遅延のセンシングを提供できる。特に車載用途では物体OBJが高速に移動するケースがあるため、低遅延のセンシングがもたらす恩恵は、非常に大きい。
【0100】
図14は、物体識別システム10を備える自動車のブロック図である。自動車300は、前照灯302L,302Rを備える。イメージング装置100は、前照灯302L,302Rの少なくとも一方に内蔵される。前照灯302は、車体の最も先端に位置しており、周囲の物体を検出する上で、イメージング装置100の設置箇所として最も有利である。
【0101】
図15は、物体検出システム210を備える車両用灯具200を示すブロック図である。車両用灯具200は、車両側ECU304とともに灯具システム310を構成する。車両用灯具200は、光源202、点灯回路204、光学系206を備える。さらに車両用灯具200には、物体検出システム210が設けられる。物体検出システム210は、上述の物体識別システム10に対応しており、イメージング装置100および演算処理装置40を含む。
【0102】
演算処理装置40が検出した物体OBJに関する情報は、車両用灯具200の配光制御に利用してもよい。具体的には、灯具側ECU208は、演算処理装置40が生成する物体OBJの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路204および光学系206は、灯具側ECU208が生成した配光パターンが得られるように動作する。
【0103】
また演算処理装置40が検出した物体OBJに関する情報は、車両側ECU304に送信してもよい。車両側ECUは、この情報にもとづいて、自動運転を行ってもよい。
【0104】
実施形態にもとづき、具体的な語句を用いて本開示を説明したが、実施形態は、本開示の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本開示の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
【産業上の利用可能性】
【0105】
本開示は、相関計算を利用したイメージング装置に利用できる。
【符号の説明】
【0106】
OBJ 物体
10 物体識別システム
40 演算処理装置
42 分類器
100 イメージング装置
110 照明装置
112 光源
114 パターニングデバイス
120 光検出器
130 演算処理装置
132 パターン発生器
134 再構成処理部
136 ウィンドウ処理部
140 測距センサ
200 車両用灯具
202 光源
204 点灯回路
206 光学系
300 自動車
302 前照灯
310 灯具システム
304 車両側ECU