(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-01
(45)【発行日】2023-12-11
(54)【発明の名称】イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
(51)【国際特許分類】
G01S 17/89 20200101AFI20231204BHJP
G01S 17/931 20200101ALI20231204BHJP
B60Q 1/14 20060101ALI20231204BHJP
B60Q 1/24 20060101ALI20231204BHJP
【FI】
G01S17/89
G01S17/931
B60Q1/14 Z
B60Q1/24 Z
(21)【出願番号】P 2020566185
(86)(22)【出願日】2019-12-26
(86)【国際出願番号】 JP2019051192
(87)【国際公開番号】W WO2020149139
(87)【国際公開日】2020-07-23
【審査請求日】2022-09-21
(31)【優先権主張番号】P 2019005428
(32)【優先日】2019-01-16
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2019005429
(32)【優先日】2019-01-16
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2019005430
(32)【優先日】2019-01-16
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001133
【氏名又は名称】株式会社小糸製作所
(74)【代理人】
【識別番号】100105924
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【氏名又は名称】村田 雄祐
(74)【代理人】
【識別番号】100109081
【氏名又は名称】三木 友由
(72)【発明者】
【氏名】杉本 真太郎
(72)【発明者】
【氏名】新田 健人
(72)【発明者】
【氏名】鳥居 輝明
【審査官】渡辺 慶人
(56)【参考文献】
【文献】特許第6412673(JP,B1)
【文献】特表2017-525952(JP,A)
【文献】特開2017-009350(JP,A)
【文献】特表2014-531032(JP,A)
【文献】特開平11-194275(JP,A)
【文献】特開2018-156862(JP,A)
【文献】米国特許出願公開第2018/0088726(US,A1)
【文献】中国特許出願公開第108363069(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48 - 7/51
17/00 - 17/95
G01B 11/00 - 11/30
G01C 3/00 - 3/32
G01N 21/00 - 21/01
21/17 - 21/61
G01J 3/00 - 4/04
7/00 - 9/04
(57)【特許請求の範囲】
【請求項1】
参照光を照射する照明装置と、
物体からの反射光を測定する光検出器と、
前記光検出器の出力にもとづく検出強度と前記参照光の強度分布にもとづいて、前記物体の復元画像を再構成する演算処理装置と、
を備え、
前記参照光は、強度分布が均一である少なくともひとつの基準パターンと、強度分布がランダムであり、空間平均強度が既知である複数のランダムパターンと、を含み、
前記演算処理装置は、前記参照光が前記基準パターンであるときに得られる前記検出強度である基準検出強度を利用して、前記参照光が前記複数のランダムパターンであるときに得られる複数の前記検出強度の平均である検出強度平均値を取得することを特徴とするイメージング装置。
【請求項2】
前記基準パターンは、前記複数のランダムパターンより前に位置することを特徴とする請求項1に記載のイメージング装置。
【請求項3】
あるランダムパターンに対して得られる前記検出強度と、前記検出強度平均値との差分がしきい値より大きいとき、当該ランダムパターンの照射に関する計算を行い、小さいとき計算を省略することを特徴とする請求項1または2に記載のイメージング装置。
【請求項4】
前記検出強度平均値との差分がしきい値より大きいような前記検出強度の個数が、所定数に達するまで、前記複数のランダムパターンの照射を行うことを特徴とする請求項3に記載のイメージング装置。
【請求項5】
前記複数のランダムパターンの前記空間平均強度は、前記基準検出強度にもとづいて設定されることを特徴とする請求項2に記載のイメージング装置。
【請求項6】
前記基準検出強度が小さいほど、前記複数のランダムパターンの前記空間平均強度は大きいことを特徴とする請求項5に記載のイメージング装置。
【請求項7】
請求項1から6のいずれかに記載のイメージング装置を備えることを特徴とする車両用灯具。
【請求項8】
請求項1から6のいずれかに記載のイメージング装置を備えることを特徴とする自動車。
【請求項9】
イメージング装置に用いられる演算処理装置であって、
前記イメージング装置は、
参照光を照射する照明装置と、
物体からの反射光を測定する光検出器と、
前記参照光の強度分布を制御するとともに、前記光検出器の出力にもとづく検出強度と前記参照光の強度分布にもとづいて、前記物体の復元画像を再構成可能な演算処理装置と、
を備えるものであり、
前記演算処理装置は、
前記参照光の強度分布を、(i)均一な基準パターンと、(ii)強度分布がランダムであり、空間平均強度が既知である複数のランダムパターンとで切り替え、
前記参照光が前記基準パターンであるときに得られる前記検出強度である基準検出強度を利用して、前記参照光が前記複数のランダムパターンであるときに得られる複数の前記検出強度の平均である検出強度平均値を取得することを特徴とする演算処理装置。
【請求項10】
照明装置が参照光を物体に照射するステップと、
光検出器が、前記物体からの反射光を測定し、検出強度を生成するステップと、
演算処理装置が、前記検出強度と前記参照光の強度分布にもとづいて、前記物体の復元画像を再構成するステップと、
を備え、
前記参照光は、強度分布が均一である少なくともひとつの基準パターンと、強度分布がランダムであり、空間平均強度が既知である複数のランダムパターンと、を含み、
前記演算処理装置が、前記参照光が前記基準パターンであるときに得られる前記検出強度である基準検出強度を利用して、前記参照光が前記複数のランダムパターンであるときに得られる複数の前記検出強度の平均である検出強度平均値を取得することを特徴とするセンシング方法。
【請求項11】
参照光を照射する照明装置と、
物体からの反射光を測定する光検出器と、
前記光検出器の出力にもとづく検出強度と前記参照光の強度分布にもとづいて、前記物体の復元画像を再構成する演算処理装置と、
を備え、
前記参照光は、強度分布が均一である少なくともひとつの基準パターンと、強度分布がランダムであり、空間平均強度が所定値である複数のランダムパターンと、を含み、
前記演算処理装置は、前記参照光が前記基準パターンであるときに得られる前記検出強度である基準検出強度にもとづいて、前記複数のランダムパターンの空間平均強度を設定することを特徴とするイメージング装置。
【請求項12】
前記基準検出強度が小さいほど、前記複数のランダムパターンの前記空間平均強度は大きいことを特徴とする請求項
11に記載のイメージング装置。
【請求項13】
前記演算処理装置は、前記基準検出強度にもとづいて、前記参照光が前記複数のランダムパターンであるときに得られる複数の前記検出強度の平均である検出強度平均値を取得することを特徴とする請求項
11または12に記載のイメージング装置。
【請求項14】
あるランダムパターンに対して得られる前記検出強度と、前記検出強度平均値との差分がしきい値より大きいとき、当該ランダムパターンの照射に関する計算を行い、小さいとき計算を省略することを特徴とする請求項
13に記載のイメージング装置。
【請求項15】
前記検出強度平均値との差分がしきい値より大きいような前記検出強度の個数が、所定数に達するまで、前記複数のランダムパターンの照射を行うことを特徴とする請求項
14に記載のイメージング装置。
【請求項16】
請求項
11から15のいずれかに記載のイメージング装置を備えることを特徴とする車両用灯具。
【請求項17】
請求項
11から15のいずれかに記載のイメージング装置を備えることを特徴とする車両。
【請求項18】
イメージング装置に用いられる演算処理装置であって、
前記イメージング装置は、
参照光を照射する照明装置と、
物体からの反射光を測定し、検出強度を出力する光検出器と、
前記参照光の強度分布を制御するとともに、前記検出強度と前記参照光の強度分布にもとづいて、前記物体の復元画像を再構成可能な演算処理装置と、
を備えるものであり、
前記演算処理装置は、
前記参照光の強度分布を、(i)均一な基準パターンと、(ii)強度分布がランダムであり、空間平均強度が所定値である複数のランダムパターンとで切り替え、
前記参照光が前記基準パターンであるときに得られる前記検出強度である基準検出強度にもとづいて、前記複数のランダムパターンの前記空間平均強度を設定することを特徴とする演算処理装置。
【請求項19】
照明装置が参照光を物体に照射するステップと、
光検出器が、前記物体からの反射光を測定し、検出強度を生成するステップと、
演算処理装置が、前記検出強度と前記参照光の強度分布にもとづいて、前記物体の復元画像を再構成するステップと、
を備え、
前記参照光は、強度分布が均一である少なくともひとつの基準パターンと、強度分布がランダムであり、空間平均強度が所定値である複数のランダムパターンと、を含み、
前記演算処理装置が、前記参照光が前記基準パターンであるときに得られる前記検出強度である基準検出強度にもとづいて、前記複数のランダムパターンの空間平均強度
を設定
することを特徴とするセンシング方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、イメージング装置に関する。
【背景技術】
【0002】
自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
【0003】
イメージング装置(センサ)のひとつとして、ゴーストイメージングの原理を利用したものが知られている。ゴーストイメージングは、参照光の強度分布(パターン)をランダムに切り替えながら物体に照射し、パターンごとに反射光の光検出強度を測定する。光検出強度はある平面にわたるエネルギーあるいは強度の積分値であり、強度分布ではない。そして、対応するパターンと光検出強度との相関計算を行い、物体の復元画像を再構成(reconstruct)する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明者らは、イメージング装置について検討した結果、以下の課題を認識するに至った。ゴーストイメージングにおける相関には、式(1)の相関関数が用いられる。参照光のI
rはr番目(r=1,2…,M)の強度分布であり、b
rはr番目の強度分布を有する参照光を照射したときに得られる検出強度の値である。
【数1】
【0006】
図1は、イメージング装置の1フレームのセンシングを示すタイムチャートである。式(1)から分かるように、相関計算には、M回の参照光の照射に対して得られるM個の検出強度b
1~b
Mの平均値<b>が必要である。したがってM回の照射が完了しないと、相関計算を開始できず、時間遅延τが生ずる。車載などのリアルタイム性が要求される用途では、この時間遅延τを極力小さくすることが求められる。
【0007】
また、物体OBJからの反射光の強度が小さいと、検出強度brが小さくなり、S/N比が低下する。S/N比の低下は、復元される画像の画質の低下をもたらす。
【0008】
本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、画像再構築の時間遅延を短縮可能なイメージング装置の提供にある。また別の態様の例示的な目的のひとつは、画質の低下を抑制可能なイメージング装置の提供にある。
【課題を解決するための手段】
【0009】
1. 本発明のある態様は、イメージング装置に関する。イメージング装置は、参照光を照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と参照光の強度分布にもとづいて物体の復元画像を再構成する演算処理装置と、を備える。参照光は、強度分布が均一である少なくともひとつの基準パターンと、複数のランダムパターンと、を含む。各ランダムパターンは、強度分布がランダムであり、空間平均強度が既知である。演算処理装置は、参照光が基準パターンであるときに得られる検出強度である基準検出強度にもとづいて、参照光が複数のランダムパターンであるときに得られる複数の検出強度の平均である検出強度平均値を取得する。
【0010】
2. 本発明のある態様は、イメージング装置に関する。このイメージング装置は、参照光を照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と参照光の強度分布にもとづいて、物体の復元画像を再構成する演算処理装置と、を備える。参照光は、ランダムな強度分布を有する複数のランダムパターンを含む。演算処理装置は、あるランダムパターンに対して得られる検出強度と、複数のランダムパターンに対して得られる複数の検出強度の平均である検出強度平均値との差分が所定のしきい値より大きいとき、当該ランダムパターンの照射に関する計算を行い、小さいとき計算を省略する。
【0011】
3. 本発明のある態様は、ゴーストイメージングにもとづくイメージング装置に関する。イメージング装置は、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と参照光の強度分布にもとづいて、物体の復元画像を再構成する演算処理装置と、を備える。参照光は、強度分布が均一である少なくともひとつの基準パターンと、強度分布がランダムであり、空間平均強度が所定値である複数のランダムパターンと、を含む。演算処理装置は、参照光が基準パターンであるときに得られる検出強度である基準検出強度にもとづいて、複数のランダムパターンの空間平均強度を設定する。
【発明の効果】
【0012】
本発明のある態様によれば、計算量を減らすことができ、あるいは画質を改善できる。
【図面の簡単な説明】
【0013】
【
図1】イメージング装置の1フレームのセンシングを示すタイムチャートである。
【
図2】実施の形態に係るイメージング装置を示す図である。
【
図3】イメージング装置の動作を説明するタイムチャートである。
【
図4】
図4(a)~(c)は、変形例に係るセンシングを説明する図である。
【
図5】変形例5に係るイメージング装置の動作を説明する図である。
【
図6】変形例6に係るイメージング装置の動作を説明する図である。
【
図7】変形例7に係るイメージング装置の動作を説明する図である。
【
図8】変形例8に係るイメージング装置の動作を説明する図である。
【
図10】物体識別システムを備える自動車のブロック図である。
【
図11】物体検出システムを備える車両用灯具を示すブロック図である。
【発明を実施するための形態】
【0014】
(実施の形態の概要)
本明細書における「強度分布がランダム」とは、完全なランダムであることを意味するものではなく、ゴーストイメージングにおいて画像を再構築できる程度に、ランダムであればよい。したがって本明細書における「ランダム」は、その中にある程度の規則性を内包することができる。また「ランダム」は、予測不能であることを要求するものではなく、予想可能、再生可能であってもよい。
【0015】
1. 本明細書に開示される一実施の形態は、イメージング装置に関する。イメージング装置は、参照光を照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と参照光の強度分布にもとづいて物体の復元画像を再構成する演算処理装置と、を備える。参照光は、強度分布が均一である少なくともひとつの基準パターンと、複数のランダムパターンと、を含む。各ランダムパターンは、強度分布がランダムであり、空間平均強度が既知である。演算処理装置は、参照光が基準パターンであるときに得られる検出強度である基準検出強度にもとづいて、参照光が複数のランダムパターンであるときに得られる複数の検出強度の平均である検出強度平均値を取得する。
【0016】
この実施の形態によると、すべてのランダムパターンの照射を待たずに、画像再構築のための計算を開始することができ、計算時間を短縮できる。また、M回のパターン照射に対して得られるデータをすべてメモリに保持する必要がないため、ハードウェアコストを下げることができる場合もある。
【0017】
基準パターンは、複数のランダムパターンより前に位置してもよい。あるいは、基準パターンは、複数のランダムパターンの先頭部分に挿入されてもよい。
【0018】
あるランダムパターンに対して得られる検出強度と、検出強度平均値との差分が所定のしきい値より大きいとき、当該ランダムパターンの照射に関する計算を行い、小さいとき計算を省略してもよい。これにより演算量を減らすことができ、あるいは鮮明な画像を得ることができる。
【0019】
検出強度平均値との差分がしきい値より大きいような検出強度の個数が、所定数に達するまで、複数のランダムパターンの照射を行ってもよい。この場合、鮮明な画像を再構成できる。
【0020】
複数のランダムパターンの空間平均強度は、基準検出強度にもとづいて設定されてもよい。これにより、検出対象の物体の大きさ、反射率、距離や、参照光の光路の環境に適したセンシングが可能となる。
【0021】
基準検出強度が小さいほど、複数のランダムパターンの空間平均強度は大きくてもよい。これによりS/N比を高めることができる。
【0022】
2. 本明細書に開示される一実施の形態もイメージング装置に関する。イメージング装置は、参照光を照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と参照光の強度分布にもとづいて物体の復元画像を再構成する演算処理装置と、を備える。参照光は、ランダムな強度分布を有する複数のランダムパターンを含む。演算処理装置は、あるランダムパターンに対して得られる検出強度と、複数のランダムパターンに対して得られる複数の検出強度の平均である検出強度平均値との差分がしきい値より大きいとき、当該ランダムパターンの照射に関する計算を行い、小さいとき計算を省略する。
【0023】
この実施の形態によれば、計算量を減らすことができる。
【0024】
検出強度平均値との差分がしきい値より大きいような検出強度の個数が、所定数に達するまで、複数のランダムパターンの照射を行ってもよい。この場合、鮮明な画像を再構成できる。
【0025】
本明細書に開示される一実施の形態は、イメージング装置に関する。イメージング装置は、参照光を照射する照明装置と、物体からの反射光を測定し、検出強度を出力する光検出器と、検出強度と参照光の強度分布にもとづいて、物体の復元画像を再構成する演算処理装置と、を備える。参照光は、強度分布が均一である少なくともひとつの基準パターンと、複数のランダムパターンと、を含む。各ランダムパターンは、強度分布がランダムであり、空間平均強度は所定値である。演算処理装置は、参照光が基準パターンであるときに得られる検出強度である基準検出強度を利用して、参照光が複数のランダムパターンであるときに得られる複数の検出強度の平均である検出強度平均値を計算する。
【0026】
この実施の形態によると、すべてのランダムパターンの照射を待たずに、画像再構築のための演算処理を開始することができ、計算時間を短縮できる。また、M回のパターン照射に対して得られるデータをすべてメモリに保持する必要がないため、ハードウェアコストを下げることができる場合もある。
【0027】
基準パターンは、複数のランダムパターンより前に位置してもよい。あるいは、基準パターンは、複数のランダムパターンの先頭部分に挿入されてもよい。
【0028】
あるランダムパターンに対して得られる検出強度と、検出強度平均値との差分が所定のしきい値より大きいとき、当該ランダムパターンの照射に関する計算を行い、小さいとき計算を省略してもよい。これにより演算量を減らすことができ、あるいは鮮明な画像を得ることができる。
【0029】
検出強度平均値との差分がしきい値より大きいような検出強度の個数が、所定数に達するまで、複数のランダムパターンの照射を行ってもよい。この場合、鮮明な画像を再構成できる。
【0030】
複数のランダムパターンの空間平均強度は、基準検出強度にもとづいて設定されてもよい。これにより、検出対象の物体の大きさ、反射率、距離や、参照光の光路の環境に適したセンシングが可能となる。
【0031】
基準検出強度が小さいほど、複数のランダムパターンの空間平均強度は大きくてもよい。これによりS/N比を高めることができる。
【0032】
本明細書に開示される一実施の形態もイメージング装置に関する。イメージング装置は、参照光を照射する照明装置と、物体からの反射光を測定し、検出強度を出力する光検出器と、検出強度と参照光の強度分布にもとづいて、物体の復元画像を再構成する演算処理装置と、を備える。参照光は、ランダムな強度分布を有する複数のランダムパターンを含む。演算処理装置は、あるランダムパターンに対して得られる検出強度と、複数のランダムパターンに対して得られる複数の検出強度の平均である検出強度平均値との差分がしきい値より大きいとき、当該ランダムパターンの照射に関する計算を行い、小さいとき計算を省略する。
【0033】
この実施の形態によれば、計算量を減らすことができる。
【0034】
検出強度平均値との差分がしきい値より大きいような検出強度の個数が、所定数に達するまで、複数のランダムパターンの照射を行ってもよい。この場合、鮮明な画像を再構成できる。
【0035】
3. 本明細書に開示される一実施の形態は、イメージング装置に関する。イメージング装置は、参照光を照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と参照光の強度分布にもとづいて、物体の復元画像を再構成する演算処理装置と、を備える。参照光は、強度分布が均一である少なくともひとつの基準パターンと、複数のランダムパターンと、を含む。各ランダムパターンは、強度分布がランダムであり、空間平均強度が所定値である。演算処理装置は、参照光が基準パターンであるときに得られる検出強度である基準検出強度にもとづいて、複数のランダムパターンの空間平均強度を設定する。
【0036】
基準検出強度は、物体の大きさ、反射率、イメージング装置と物体との間の伝搬損失に応じて変化する。この実施の形態によれば、検出対象の物体の大きさ、反射率、距離や、参照光の光路の環境に適したセンシングが可能となる。
【0037】
基準検出強度が小さいほど、複数のランダムパターンの空間平均強度は大きくてもよい。これにより、反射率が低い物体をセンシングする際や、伝搬損失が大きい環境でセンシングする際のS/N比を低下を抑制できる。
【0038】
演算処理装置は、基準検出強度にもとづいて、参照光が複数のランダムパターンであるときに得られる複数の検出強度の平均である検出強度平均値を取得してもよい。この実施の形態によると、すべてのランダムパターンの照射を待たずに、画像再構築のための計算を開始することができ、計算時間を短縮できる。また、M回のパターン照射に対して得られるデータをすべてメモリに保持する必要がないため、ハードウェアコストを下げることができる場合もある。
【0039】
あるランダムパターンに対して得られる前記検出強度と、検出強度平均値との差分がしきい値より大きいとき、当該ランダムパターンの照射に関する計算を行い、小さいとき計算を省略してもよい。これにより演算量を減らすことができ、あるいは鮮明な画像を得ることができる。
【0040】
検出強度平均値との差分がしきい値より大きいような検出強度の個数が、所定数に達するまで、複数のランダムパターンの照射を行ってもよい。この場合、鮮明な画像を再構成できる。
【0041】
本明細書に開示される一実施の形態もイメージング装置に関する。イメージング装置は、参照光を照射する照明装置と、物体からの反射光を測定し、検出強度を出力する光検出器と、検出強度と参照光の強度分布にもとづいて、物体の復元画像を再構成する演算処理装置と、を備える。参照光は、ランダムな強度分布を有する複数のランダムパターンを含む。演算処理装置は、あるランダムパターンに対して得られる検出強度と、複数のランダムパターンに対して得られる複数の検出強度の平均である検出強度平均値との差分がしきい値より大きいとき、当該ランダムパターンの照射に関する計算を行い、小さいとき計算を省略する。
【0042】
この実施の形態によれば、計算量を減らすことができる。
【0043】
検出強度平均値との差分がしきい値より大きいような検出強度の個数が、所定数に達するまで、複数のランダムパターンの照射を行ってもよい。この場合、鮮明な画像を再構成できる。
【0044】
(実施の形態)
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
【0045】
図2は、実施の形態に係るイメージング装置100を示す図である。イメージング装置100はゴーストイメージングの原理を用いたシングルピクセルのイメージング装置であり、照明装置110、光検出器120および演算処理装置130を備える。イメージング装置100を、量子レーダカメラとも称する。
【0046】
照明装置110は、疑似熱光源であり、実質的にランダムとみなしうる強度分布I(x,y)を有する参照光S1を生成し、物体OBJに照射する。物体OBJへの参照光S1の照射は、その強度分布を複数のM回、ランダムに変化させながら行われる。
【0047】
照明装置110は、光源112、パターニングデバイス114およびパターン発生器132を含む。光源112は、均一な強度分布を有する光S0を生成する。光源112は、レーザや発光ダイオードなどを用いてもよい。参照光S1の波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長を含む単色光であってもよい。参照光S1の波長は、赤外あるいは紫外であってもよい。
【0048】
パターニングデバイス114は、マトリクス状に配置される複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布Iを空間的に変調可能に構成される。本明細書においてオン状態の画素をオン画素、オフ状態の画素をオフ画素という。なお、以下の説明では理解の容易化のために、各画素は、オンとオフの2値(1,0)のみをとるものとするがその限りでなく、中間的な階調をとってもよい。
【0049】
パターニングデバイス114としては、反射型のDMD(Digital Micromirror Device)や透過型の液晶デバイスを用いることができる。パターニングデバイス114には、パターン発生器132が発生するパターン信号PTN(画像データ)が与えられている。
【0050】
パターン発生器132は、参照光S1の強度分布Irを指定するパターン信号PTNrを発生し、時間とともにパターン信号PTNrを切り替える(r=1,2,…M)。
【0051】
光検出器120は、物体OBJからの反射光を測定し、検出信号Drを出力する。検出信号Drは、強度分布Irを有する参照光を物体OBJに照射したときに、光検出器120に入射する光エネルギー(あるいは強度)の空間的な積分値である。したがって光検出器120は、シングルピクセルの光検出器(フォトディテクタ)を用いることができる。光検出器120からは、複数M通りの強度分布I1~IMそれぞれに対応する複数の検出信号D1~DMが出力される。
【0052】
演算処理装置130は、パターン発生器132と再構成処理部134を含む。再構成処理部134は、複数の強度分布(ランダムパターンともいう)I1~IMと、複数の検出強度b1~bMの相関計算を行い、物体OBJの復元画像G(x,y)を再構成する。
【0053】
検出強度b1~bMは、検出信号D1~DMにもとづいている。検出強度と検出信号の関係は、光検出器120の種類や方式などを考慮して定めればよい。
【0054】
ある強度分布Irの参照光S1を、ある照射期間にわたり照射するとする。また検出信号Drは、ある時刻(あるいは微小時間)の受光量、すなわち瞬時値を表すとする。この場合、照射期間において検出信号Drを複数回サンプリングし、検出強度brを、検出信号Drの全サンプリング値の積分値、平均値あるいは最大値としてもよい。あるいは、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を用いてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列x番目からy番目を抽出してもよいし、任意のしきい値より低いサンプリング値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
【0055】
光検出器120として、カメラのように露光時間が設定可能なデバイスを用いる場合には、光検出器120の出力Drをそのまま、検出強度brとすることができる。
【0056】
検出信号Drから検出強度brへの変換は、演算処理装置130が実行してもよいし、演算処理装置130の外部で行ってもよい。
【0057】
相関には、式(1)の相関関数が用いられる。Irは、r番目の強度分布であり、brはr番目の検出強度の値である。
【0058】
演算処理装置130は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、マイコンなどのプロセッサ(ハードウェア)と、プロセッサ(ハードウェア)が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置130は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置130はハードウェアのみで構成してもよい。
【0059】
本実施の形態において、参照光S1は、強度分布がランダムであり、空間平均強度が所定値である複数のランダムパターンI1~IMに加えて、強度分布が均一である少なくともひとつの基準パターンI0と、を含む。以下では基準パターンI0は1個であるとし、全画素がオン(点灯)であるとする。好ましくは基準パターンI0は、複数のランダムパターンI1~IMより前に位置してもよい。
【0060】
参照光S1の空間平均強度は、パターニングデバイス114の全画素の強度の平均である。パターニングデバイス114の各画素が、オン、オフの2状態で制御される場合、オン画素の強度を1、オフ画素の強度を0に対応付ける。パターニングデバイス114の全画素数をp、オンである画素(オン画素)の個数をqとするとき、空間平均強度は、q/pであり、これを点灯比率ηと称する。言い換えればパターン発生器132は、点灯比率ηがしきい値ηaとなる制約条件のもと、複数のランダムパターンI1~IMを発生する。なお、複数のランダムパターンI1~IMそれぞれの点灯比率η1~ηMが厳密にηaと一致する必要はなく、ある程度の誤差を有していてよい。
【0061】
なお、基準パターンI0の空間平均強度(点灯比率η0)は1である。
【0062】
演算処理装置130の再構成処理部134は、参照光S1が基準パターンI0であるときに得られる検出強度である基準検出強度b0を利用して、参照光S1が複数のランダムパターンI1~IMであるときに得られる複数の検出強度b1~brの平均である検出強度平均値<b>を計算する。
【0063】
基準パターンI0(x,y)が、とある物体に反射して得られる基準検出強度b0は、
b0=ΣxΣyI0(x,y)×f(x,y)
である。f(x,y)は、物体の反射特性や、参照光および反射光の伝送路の特性を表す。
【0064】
同じ物体、同じ伝送路を仮定するとき、f(x,y)は同じであるから、ランダムパターンIr(r=1~M)に関しても同じ関係式が成り立つ。
br=ΣxΣy{Ir(x,y)×f(x,y)}
【0065】
また、M個のランダムパターンI1(x,y)~IM(x,y)の平均的な強度分布<I(x,y)>は均一であり、ηa×I0(x,y)となる。
【0066】
そうするとM個の検出強度b1~bMの検出強度平均値<b>は、以下の式から計算することができる。
<b>=Σr=1:Mbr/M
=b0×ηa …(2)
【0067】
以上がイメージング装置100の構成である。続いてその動作を説明する。
【0068】
図3は、イメージング装置100の動作を説明するタイムチャートである。
図3では、パターニングデバイス114の全画素数はp=4×4=16画素であり、5個のオン画素が含まれるように、ランダムパターンI
1~I
Mが生成される。つまり点灯比率η
aは5/16に定められる。実際のパターニングデバイス114の画素数pがさらに多くてよいことは言うまでもない。
【0069】
最初に強度分布が均一である基準パターンI0が照射され、それに対応する基準検出強度b0が測定される。再構成処理部134は、均一照射が完了すると直ちに式(2)にもとづいて、検出強度平均値<b>を算出する。
【0070】
そして、ランダムパターンI1の照射が終了し、b1が得られると、式(1)のうち、対応する項(cと表記する)を計算し、その値を積算値dとする。
c1=(b1-<b>)I1/M …(3)
d=c1 …(4)
【0071】
続いて、ランダムパターンI2の照射が終了し、b2が得られると、式(1)のうち、対応する項c2を計算する。そしてc2を、前回得られた値dに加算する。
c2=(b2-<b>)I2/M …(5)
d=d+c2 …(6)
【0072】
一般化すると、r番目のランダムパターンIrの照射に関連して、以下の計算が行われる。
cr=(br-<b>)Ir/M …(7)
d=d+cr …(8)
【0073】
この処理は、最後のランダムパターンIMの照射まで繰り返される。
【0074】
以上がイメージング装置100の動作である。このイメージング装置100によれば、基準パターンI0の照射が終了した段階で、検出強度平均値<b>を算出できる。したがって、それ以降は、新たな検出強度brが得られる度に、相関計算を進めることができる。これにより、M回目のランダムパターンIMの照射の完了後、直ちに、復元画像Gを得ることができ、計算遅延を低減できる。
【0075】
また、従来の方式では、すべての照射が完了するまで、b1~bMを保持し続けなければならないため、メモリの容量が大きくなる。これに対して本実施の形態では、brは計算完了後破棄することができるため、メモリ容量を削減できる。
【0076】
続いて、基準パターンの照射に関する変形例を説明する。
図4(a)~(c)は、変形例に係るセンシングを説明する図である。
【0077】
(変形例1)
図3では、1フレームの先頭に、基準パターンI
0が位置したがその限りでなく、先頭以外の箇所に挿入してもよい。計算遅延の削減の効果を考慮すると、基準パターンI
0はなるべく前の方に挿入した方がよい。たとえば
図4(a)に示すように、M=1000である場合に、I
100とI
101の間に挿入してもよい。この場合であっても、100回目のランダムパターンI
100の照射後、基準パターンI0を照射した段階で検出強度平均値<b>が得られる。したがって1000番目のランダムパターンの照射完了を待つ必要がないため、計算遅延を短縮できる。
【0078】
(変形例2)
図3では、1フレームに、1回の基準パターンI
0を挿入したが、その限りでない。
図4(b)に示すように、1フレームに複数の基準パターンI
0を挿入してもよい。この場合、複数の基準パターンI0に対応して得られる複数の基準検出強度b
0の平均値にもとづいて、検出強度平均値<b>を計算してもよい。
【0079】
(変形例3)
1フレームのセンシングにおいて、連続するK個のランダムパターンごとに1個の基準パターンI0を照射してもよい。この場合、ある基準パターンI0に対応して得られる基準検出強度b0にもとづいて、それに続く(あるいはそれに先行する)K個の検出強度の平均値を計算してもよい。
【0080】
(変形例4)
図3の例では、基準パターンI0を、全画素オンとしたが、その限りでない。各画素の強度として中間的な階調を指定できる場合、全画素の強度をη
aとしてもよい。この場合、<b>=b
0とすることができる。
【0081】
続いて、計算時間をより短縮することが可能な変形を説明する。
【0082】
(変形例5)
変形例5では、あるランダムパターンIrに対して得られる検出強度brと、検出強度平均値<b>との差分|br-<b>|がしきい値δより大きいとき、当該ランダムパターンの照射に関する計算(すなわち項crの計算)を行い、小さいときには、br-<b>≒0、すなわちcr≒0と近似して、その計算を省略する。なおこの変形例において、計算を省略した項は、平均の母集団に含むものとする。
【0083】
図5は、変形例5に係るイメージング装置100の動作を説明する図である。b
1,b
3に関して、<b>との差分|b
r-<b>|はしきい値δより小さい。したがって、これらに関する項c
1,c
3の計算は省略され、c
1=c
3=0とされる。
【0084】
この変形例5によれば、演算処理装置130における演算量を減らすことができる。
【0085】
(変形例6)
図6は、変形例6に係るイメージング装置100の動作を説明する図である。変形例6では、変形例5と同様に、あるランダムパターンI
rに対して得られる検出強度b
rと、検出強度平均値<b>との差分|b
r-<b>|がしきい値δより大きいとき、当該ランダムパターンの照射に関する計算(すなわち項c
rの計算)を行い、小さいときにはその計算を省略する。変形例5との相違点は、計算を省略した項c
rは、平均の母集団から除外する点である。つまりM個のランダムパターンI
1~I
Mに対して、実際の平均数mは小さくなる。この変形例6によれば、|b
r-<b>|が大きな照射を用いて、相関計算を行うため、鮮明な画像を得ることができる。
【0086】
(変形例7)
変形例7は、変形例6の修正である。変形例6では、m ≪Mとなると、画質が低下する可能性がある。そこで変形例7では、予め準備するランダムパターンの個数M”を、Mより大きくしておき、検出強度平均値<b>との差分がしきい値δより大きいような検出強度brの個数mが、所定数Mに達するまで、複数のランダムパターンの照射を行うこととする。これにより常にM個の検出強度およびランダムパターンにもとづいて相関計算を行うこととなり、鮮明な画像を得ることが可能となる。なお、擬似ランダム信号発生器を用いる場合、予めM”個のパターンを用意する必要はなく、mがMに達するまで、パターンを発生し続ければよい。
【0087】
図7は、変形例7に係るイメージング装置100の動作を説明する図である。この例では、M=8、M”=19である。この例では、12個目のランダムパターンを照射した時点で、|b
r-<b>|>δである個数M”が、所定値M=8に到達し、その段階で最終的な復元画像が得られる。この変形例によれば、変形例6に比べてさらに鮮明な画像を得ることが可能となる。
【0088】
(変形例8)
変形例8において、複数のランダムパターンの空間平均強度、言い換えれば点灯比率η
aは、基準検出強度b
0にもとづいて設定される。
図8は、変形例8に係るイメージング装置100の動作を説明する図である。この例では、各フレームの点灯比率η
aが、そのフレームの先頭で得られる基準検出強度b
0にもとづいて決定される。
図8には連続する2フレームが示される。
【0089】
たとえば、基準検出強度b0が小さいほど、複数のランダムパターンの空間平均強度、すなわち点灯比率ηaを大きくし、反対に基準検出強度b0が大きいほど、点灯比率ηaを小さくする。たとえばηaは、b0に実質的に反比例してもよい。
【0090】
比較のために、2フレーム目において、1フレーム目と同じ点灯比率ηaを採用したとする。この場合の検出強度b1~bMは、破線で示すように非常に小さくなる。これに対して、基準検出強度b0が小さいフレームでは、ηaを大きくすることで、その後、取得される検出強度b1~bMを大きくすることができる。これによりS/N比の低下を抑制できる。
【0091】
以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
【0092】
(変形例1)
実施の形態では、照明装置110を、光源112とパターニングデバイス114の組み合わせで構成したがその限りでない。たとえば照明装置110は、マトリクス状に配置される複数の半導体光源(LED(発光ダイオード)やLD(レーザダイオード))のアレイで構成し、個々の半導体光源のオン、オフ(あるいは輝度)を制御可能に構成してもよい。
【0093】
(用途)
続いてイメージング装置100の用途を説明する。
図9は、物体識別システム10のブロック図である。この物体識別システム10は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体OBJの種類(カテゴリ)を判定する。
【0094】
物体識別システム10は、イメージング装置100と、演算処理装置40を備える。イメージング装置100は、上述のように、物体OBJに参照光S1を照射し、反射光S2を測定することにより、物体OBJの復元画像Gを生成する。
【0095】
演算処理装置40は、イメージング装置100の出力画像Gを処理し、物体OBJの位置および種類(カテゴリ)を判定する。
【0096】
演算処理装置40の分類器42は、画像Gを入力として受け、それに含まれる物体OBJの位置および種類を判定する。分類器42は、機械学習によって生成されたモデルにもとづいて実装される。分類器42のアルゴリズムは特に限定されないが、YOLO(You Only Look Once)とSSD(Single Shot MultiBox Detector)、R-CNN(Region-based Convolutional Neural Network)、SPPnet(Spatial Pyramid Pooling)、Faster R-CNN、DSSD(Deconvolution -SSD)、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
【0097】
以上が物体識別システム10の構成である。物体識別システム10のセンサとして、イメージング装置100を用いることで、以下の利点を得ることができる。
【0098】
イメージング装置100すなわち量子レーダカメラを用いることで、ノイズ耐性が格段に高まる。たとえば、降雨時、降雪時、あるいは霧の中を走行する場合、肉眼では物体OBJを認識しにくいが、イメージング装置100を用いることで、雨、雪、霧の影響を受けずに、物体OBJの復元画像Gを得ることができる。
【0099】
また、イメージング装置100を用いることで、計算遅延を小さくできる。これにより低遅延のセンシングを提供できる。特に車載用途では物体OBJが高速に移動するケースがあるため、低遅延のセンシングがもたらす恩恵は、非常に大きい。
【0100】
図10は、物体識別システム10を備える自動車のブロック図である。自動車300は、前照灯302L,302Rを備える。イメージング装置100は、前照灯302L,302Rの少なくとも一方に内蔵される。前照灯302は、車体の最も先端に位置しており、周囲の物体を検出する上で、イメージング装置100の設置箇所として最も有利である。
【0101】
図11は、物体検出システム210を備える車両用灯具200を示すブロック図である。車両用灯具200は、車両側ECU304とともに灯具システム310を構成する。車両用灯具200は、光源202、点灯回路204、光学系206を備える。さらに車両用灯具200には、物体検出システム210が設けられる。物体検出システム210は、上述の物体識別システム10に対応しており、イメージング装置100および演算処理装置40を含む。
【0102】
演算処理装置40が検出した物体OBJに関する情報は、車両用灯具200の配光制御に利用してもよい。具体的には、灯具側ECU208は、演算処理装置40が生成する物体OBJの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路204および光学系206は、灯具側ECU208が生成した配光パターンが得られるように動作する。
【0103】
また演算処理装置40が検出した物体OBJに関する情報は、車両側ECU304に送信してもよい。車両側ECUは、この情報にもとづいて、自動運転を行ってもよい。
【0104】
実施の形態において、ゴーストイメージング(あるいはシングルピクセルイメージング)の手法として、相関計算を用いた手法を説明したが、画像の再構築の手法はそれに限定されない。いくつかの実施の形態では、相関計算に変えて、フーリエ変換やアダマール逆変換を使用した解析的手法や、スパースモデリングなどの最適化問題を解く手法、およびAI・機械学習を利用したアルゴリズムによって、画像を再構築してもよい。
【0105】
実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
【産業上の利用可能性】
【0106】
本発明は、イメージング装置に関する。
【符号の説明】
【0107】
OBJ 物体
10 物体識別システム
40 演算処理装置
42 分類器
100 イメージング装置
110 照明装置
112 光源
114 パターニングデバイス
116 パターン発生器
120 光検出器
130 演算処理装置
132 パターン発生器
134 再構成処理部
200 車両用灯具
202 光源
204 点灯回路
206 光学系
300 自動車
302 前照灯
310 灯具システム
304 車両側ECU