特許 7695230 ゲーティングカメラ、車両用センシングシステム、車両用灯具

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-06-10

(45)【発行日】2025-06-18

(54)【発明の名称】ゲーティングカメラ、車両用センシングシステム、車両用灯具

(51)【国際特許分類】

   G01S 17/894 20200101AFI20250611BHJP

   G01S 17/931 20200101ALI20250611BHJP

   G01S 7/497 20060101ALI20250611BHJP

   H04N 23/54 20230101ALI20250611BHJP

   H04N 23/56 20230101ALI20250611BHJP

   H04N 23/60 20230101ALI20250611BHJP

【ＦＩ】

G01S17/894

G01S17/931

G01S7/497

H04N23/54

H04N23/56

H04N23/60

【請求項の数】 5

(21)【出願番号】P 2022511154

(86)(22)【出願日】2021-04-02

(86)【国際出願番号】 JP2021014289

(87)【国際公開番号】W WO2021201269

(87)【国際公開日】2021-10-07

【審査請求日】2024-01-24

(31)【優先権主張番号】P 2020066482

(32)【優先日】2020-04-02

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2020068259

(32)【優先日】2020-04-06

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2020068260

(32)【優先日】2020-04-06

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001133

【氏名又は名称】株式会社小糸製作所

(74)【代理人】

【識別番号】110001416

【氏名又は名称】弁理士法人信栄事務所

(72)【発明者】

【氏名】加藤 大騎

(72)【発明者】

【氏名】▲高▼橋 昌之

(72)【発明者】

【氏名】伊多波 晃志

(72)【発明者】

【氏名】種本 駿

【審査官】仲野 一秀

(56)【参考文献】

【文献】特開２００９－２５７９８１（ＪＰ，Ａ）

【文献】特開２０１０－１２１９９５（ＪＰ，Ａ）

【文献】特開２００４－３７６５７（ＪＰ，Ａ）

【文献】国際公開第２０１７／０８６０１０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８－７／５１

１７／００－１７／９５

Ｇ０１Ｃ ３／００－３／３２

Ｈ０４Ｎ ５／２２２－２／２５７

２３／００

２３／４０－２３／７６

２３／９０－２３／９５９

(57)【特許請求の範囲】

【請求項1】

奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、
プローブ光を照射する照明装置と、
イメージセンサと、
前記照明装置の発光タイミングと前記イメージセンサの露光のタイミングを制御するコントローラと、
前記イメージセンサから伝送されたセンサ画像にもとづいて、前記スライス画像を生成する画像処理装置と、
を備え、
前記画像処理装置は、前記センサ画像のライン毎に、画素値の小さい順にＭ個（Ｍ≧２）を選択してそれらの平均値を算出し、同じラインの各画素値から前記平均値を減算することを特徴とするゲーティングカメラ。

【請求項2】

Ｍは、前記ラインの画素数の２～８％であることを特徴とする請求項１に記載のゲーティングカメラ。

【請求項3】

車両に搭載されることを特徴とする請求項１または２に記載のゲーティングカメラ。

【請求項4】

請求項１または２に記載のゲーティングカメラと、
前記ゲーティングカメラが撮影する前記複数のスライス画像を処理する演算処理装置と、
を備えることを特徴とする車両用センシングシステム。

【請求項5】

請求項１または２に記載のゲーティングカメラを備えることを特徴とする車両用灯具。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ゲーティングカメラに関する。

【背景技術】

【0002】

自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。

【0003】

一般的な単眼のカメラからは、奥行きの情報を得ることができない。したがって、異なる距離に位置する複数の物体が重なっている場合に、それらを分離することが難しい。

【0004】

奥行き情報が得られるカメラとして、ＴＯＦカメラが知られている。ＴＯＦ（Time Of Flight）カメラは、発光デバイスによって赤外光を投光し、反射光がイメージセンサに戻ってくるまでの飛行時間を測定し、飛行時間を距離情報に変換したＴＯＦ画像を得るものである。

【0005】

ＴＯＦカメラに代わるアクティブセンサ（以下、本明細書においてゲーティングカメラ、またはゲーテッドカメラと称する）が提案されている（特許文献１，２）。ゲーティングカメラは、撮影範囲を複数のレンジに区切り、レンジ毎に露光タイミングおよび露光時間を変化させて、撮像する。これにより、対象のレンジ毎にスライス画像が得られ、各スライス画像は対応するレンジに含まれる物体のみを含む。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００９－２５７９８１号公報

【文献】国際公開ＷＯ２０１７／１１０４１７Ａ１

【発明の概要】

【発明が解決しようとする課題】

【0007】

１． 本発明者は、ゲーティングカメラを動作させた際に、イメージセンサの出力画像（センサ画像）に、横筋のノイズがランダムに発生し、スライス画像の画質を劣化させる場合があることを認識した。

【0008】

本開示のある態様は係る状況においてなされたものであり、その例示的な目的のひとつは、スライス画像の劣化を抑制可能なゲーティングカメラの提供にある。

【0009】

２． ゲーティングカメラは、イメージセンサと、イメージセンサの出力画像（センサ画像）を処理する画像処理装置を備える。ここでイメージセンサから画像処理装置の間は、シリアルインタフェースで接続される場合が多く、この間のセンサ画像の伝送速度がボトルネックとなり、１枚のスライス画像の生成に要する時間が長くなり、ゲーティングカメラのフレームレートが制限される。

【0010】

本開示のある態様は係る状況においてなされたものであり、その例示的な目的のひとつは、スライス画像の生成時間を短縮可能なゲーティングカメラの提供にある。

【0011】

３． 従来のゲーティングカメラは、１回の発光に対して１回の露光を行うため、発光ごとに、１つのレンジのスライス画像のみが生成される。したがって、Ｎ個のレンジをすべてセンシングするためには、発光と露光のセットがＮ回、必要となり、センシング時間が長くなってしまう。遠方のレンジを撮影する際に、発光と露光を複数回、繰り返して積算する場合、センシング時間はさらに長くなる。

【0012】

本開示のある態様は係る状況においてなされたものであり、その例示的な目的のひとつは、センシング時間を短縮可能なゲーティングカメラの提供にある。

【課題を解決するための手段】

【0013】

１． 本開示のある態様に係るゲーティングカメラは、奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成する。ゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御するコントローラと、イメージセンサから伝送されたセンサ画像にもとづいて、スライス画像を生成する画像処理装置と、を備える。画像処理装置は、センサ画像のライン毎に、画素値が小さい順にＭ個（Ｍ≧２）を選択してそれらの平均値を算出し、同じラインの各画素値から平均値を減算する。

【0014】

２． 本開示のある態様は、奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラに関する。ゲーティングカメラは、プローブ光を照射する照明装置と、複数の画素を含むイメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御するコントローラと、イメージセンサから伝送されたセンサ画像にもとづいて、スライス画像を生成する画像処理装置と、を備える。イメージセンサから画像処理装置に伝送されるセンサ画像の解像度が、レンジが近いほど低い。

【0015】

３． 本開示のある態様は、奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラに関する。ゲーティングカメラは、プローブ光を照射する照明装置と、複数の画素を含むイメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御するコントローラと、を備える。イメージセンサの複数の画素は、複数の画素群に分類され、コントローラは、照明装置の１回の発光に対して、複数の画素群を異なるタイミングで露光する。

【発明の効果】

【0016】

本開示の態様１によれば、スライス画像の画質を改善できる。本開示の態様２によれば、スライス画像の生成時間を短縮できる。本開示の態様３によれば、センシング時間を短縮できる。

【図面の簡単な説明】

【0017】

【図1】実施形態１に係るセンシングシステムのブロック図である。

【図2】ゲーティングカメラの基本動作を説明する図である。

【図3】図３（ａ）、（ｂ）は、ゲーティングカメラにより得られるスライス画像を説明する図である。

【図4】センサ画像ＳＩのノイズを説明する図である。

【図5】画像処理装置によるノイズキャンセルを説明する図である。

【図6】ノイズ減算処理の前後のセンサ画像を示す図である。

【図7】ノイズ減算処理の前後のセンサ画像を示す図である。

【図8】実施形態２に係るセンシングシステムのブロック図である。

【図9】ゲーティングカメラの基本動作を説明する図である。

【図10】図１０（ａ）、（ｂ）は、ゲーティングカメラにより得られるスライス画像を説明する図である。

【図11】レンジに依存するセンサ画像ＳＩの解像度の制御の一例を説明する図である。

【図12】図１２（ａ）は、ある走行シーンを示す図であり、図１２（ｂ）は、図１２（ａ）の走行シーンにおいて得られるセンサ画像ＳＩ_ｘ、ＳＩ_ｙを示す図である。

【図13】図１３（ａ）は、ゲーティングカメラの動作を示すタイムチャートであり、図１３（ｂ）は、比較技術に係るゲーティングカメラの動作を示すタイムチャートである。

【図14】レンジに依存するセンサ画像ＳＩの解像度の制御の別の例を説明する図である。

【図15】レンジに依存するセンサ画像ＳＩの解像度の制御のさらに別の例を説明する図である。

【図16】変形例２に係るゲーティングカメラのブロック図である。

【図17】変形例２に係るゲーティングカメラの露光を説明する図である。

【図18】変形例２に係るゲーティングカメラの動作を説明するタイムチャートである。

【図19】実施形態３に係るセンシングシステムのブロック図である。

【図20】図１９のゲーティングカメラの動作を説明するタイムチャートである。

【図21】図２１（ａ）、（ｂ）は、図１９のゲーティングカメラにより得られるスライス画像を説明する図である。

【図22】図２２（ａ）～（ｄ）は、画素群の例を示す図である。

【図23】センシングシステムのブロック図である。

【図24】図２４（ａ）、（ｂ）は、ゲーティングカメラを備える自動車を示す図である。

【図25】物体検出システムを備える車両用灯具を示すブロック図である。

【発明を実施するための形態】

【0018】

（実施形態の概要）
本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。

【0019】

この概要は、考えられるすべての実施形態の広範な概要ではなく、すべての実施形態の重要な要素または重要な要素を特定することも、一部またはすべての態様の範囲を線引きすることも意図していない。その唯一の目的は、後で提示するより詳細な説明の前置きとして、１つまたは複数の実施形態のいくつかの概念を簡略化した形で提示することである。

【0020】

１． 一実施形態に係るゲーティングカメラは、奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成する。ゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御するコントローラと、イメージセンサから伝送されたセンサ画像にもとづいて、スライス画像を生成する画像処理装置と、を備える。画像処理装置は、センサ画像のライン毎に、画素値が小さい順にＭ個（Ｍ≧２）を選択してそれらの平均値を算出し、同じラインの各画素値から平均値を減算する。

【0021】

この構成によれば、横縞のノイズを低減し、画質を改善できる。

【0022】

一実施形態において、Ｍは、ラインの画素数の２～８％であってもよい。

【0023】

２． 一実施形態に係るゲーティングカメラは、奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成する。ゲーティングカメラは、プローブ光を照射する照明装置と、複数の画素を含むイメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御するコントローラと、イメージセンサから伝送されたセンサ画像にもとづいて、スライス画像を生成する画像処理装置と、を備える。イメージセンサから画像処理装置に伝送されるセンサ画像の解像度が、レンジが近いほど低い。

【0024】

ゲーティングカメラにより、同じ被写体を撮影する場合、被写体が遠いレンジに存在する場合、被写体は小さく、つまり低解像度で写り、被写体が近いレンジに存在する場合、被写体は大きく、つまり高解像度で写る。そこで被写体までの距離が近いほど、言い換えると近いレンジほど、イメージセンサから画像処理装置に伝送するセンサ画像の解像度を低下させることにより、後段の処理で必要な解像度は維持しつつも、センサ画像の伝送時間を短くすることができ、スライス画像の生成時間を短縮できる。

【0025】

一実施形態において、イメージセンサは、複数の画素について、ラインごとに、伝送の有無が指定可能であり、近いレンジほど、スキップされるラインの本数が多くてもよい。

【0026】

一実施形態において、イメージセンサは、複数の画素について、カラムごとに、伝送の有無が指定可能であり、近いレンジほど、スキップされるカラムの本数が多くてもよい。

【0027】

一実施形態において、イメージセンサは、複数の画素について、画素ごとに、伝送の有無が指定可能であり、近いレンジほど、スキップされる画素の個数が多くてもよい。

【0028】

一実施形態において、イメージセンサはすべてのレンジにおいて、全画素が露光されてもよい。

【0029】

一実施形態において、イメージセンサは、各レンジにおいて、伝送対象となる画素のみが露光されてもよい。

【0030】

一実施形態において、イメージセンサの複数の画素は、複数のグループに分類されてもよい。コントローラは、照明装置の１回の発光に対して、複数のグループを異なるタイミングで露光してもよい。これにより、複数のレンジを並行して撮影できる。

【0031】

一実施形態において、画像処理装置は、レンジごとに同じアスペクト比のスライス画像が得られるように、イメージセンサから伝送されたセンサ画像をスケーリングしてもよい。スケーリングは、補間処理を利用してもよいし、間引き処理を利用してもよい。

【0032】

一実施形態に係るゲーティングカメラは、奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成する。ゲーティングカメラは、プローブ光を照射する照明装置と、複数の画素を含むイメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御するコントローラと、を備える。イメージセンサの複数の画素は、複数の画素群に分類され、コントローラは、照明装置の１回の発光に対して、複数の画素群を異なるタイミングで露光する。

【0033】

一実施形態によれば、１回の発光に対して、複数のレンジの画像を生成できる。したがって、すべてのレンジのスライス画像を生成するのに要するセンシング時間を短縮できる。

【0034】

一実施形態において、複数の画素群の個数をｎ（ｎ≧２）とするとき、ｉ番目の画素群は、ｉ＋ｎ×ｊ（ｊは整数）番目のラインを含んでもよい。

【0035】

一実施形態において、複数の画素群の個数をｎ（ｎ≧２）とするとき、ｉ番目の画素群は、ｉ＋ｎ×ｊ（ｊは整数）番目のカラムを含んでもよい。

【0036】

一実施形態において、ゲーティングカメラは、イメージセンサから伝送されたセンサ画像にもとづいて、スライス画像を生成する画像処理装置をさらに備えてもよい。イメージセンサから画像処理装置には、各画素群ごとに生成されるセンサ画像を単位として伝送されてもよい。

【0037】

（実施形態）
以下、実施形態について図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

【0038】

（実施形態１）
図１は、実施形態１に係るセンシングシステム１０のブロック図である。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪを検出する。

【0039】

センシングシステム１０は、主としてゲーティングカメラ２０を備える。ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、コントローラ２６、画像処理装置２８を含む。ゲーティングカメラ２０による撮像は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ_１～ＲＮＧ_Ｎに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。

【0040】

照明装置２２は、コントローラ２６から与えられる発光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光や紫外光であってもよい。

【0041】

イメージセンサ２４は、複数の画素を含み、コントローラ２６から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、センサ画像ＳＩを生成する。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。ｉ番目のレンジＲＮＧ_ｉに関して得られたセンサ画像をＳＩ_ｉと表記する。

【0042】

コントローラ２６は、照明装置２２によるプローブ光Ｌ１の照射タイミング（発光タイミング）と、イメージセンサ２４による露光のタイミングを制御する。コントローラ２６は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。

【0043】

イメージセンサ２４と画像処理装置２８は、シリアルインタフェースを介して接続されており、イメージセンサ２４が撮影したセンサ画像ＳＩ_ｉは、画像処理装置２８に伝送される。画像処理装置２８は、イメージセンサ２４から伝送されたセンサ画像ＳＩ_ｉにもとづいて、スライス画像ＩＭＧ_ｉを生成する。

【0044】

図２は、ゲーティングカメラ２０の基本動作を説明する図である。図２にはｉ番目のレンジＲＮＧ_ｉをセンシングするときの様子が示される。照明装置２２は、発光タイミング信号Ｓ１と同期して、時刻ｔ_０～ｔ_１の間の発光期間τ_１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧ_ｉの手前の境界までの距離をｄ_{ＭＩＮｉ、}レンジＲＮＧ_ｉの奥側の境界までの距離をｄ_ＭＡＸｉとする。

【0045】

ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＩＮｉは、
Ｔ_ＭＩＮｉ＝２×ｄ_ＭＩＮｉ／ｃ
である。ｃは光速である。

【0046】

同様に、ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＡＸｉは、
Ｔ_ＭＡＸｉ＝２×ｄ_ＭＡＸｉ／ｃ
である。

【0047】

レンジＲＮＧ_ｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ２６は、時刻ｔ_２＝ｔ_０＋Ｔ_ＭＩＮｉに露光を開始し、時刻ｔ_３＝ｔ_１＋Ｔ_ＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回の露光動作である。

【0048】

ｉ番目のレンジＲＮＧ_ｉを撮影する際に、発光および露光を複数セット、行ってもよい。この場合、コントローラ２６は、所定の周期τ_２で、上述の露光動作を複数回にわたり繰り返せばよい。

【0049】

図３（ａ）、（ｂ）は、ゲーティングカメラ２０により得られるスライス画像を説明する図である。図３（ａ）の例では、レンジＲＮＧ_２に物体（歩行者）ＯＢＪ_２が存在し、レンジＲＮＧ_３に物体（車両）ＯＢＪ_３が存在している。図３（ｂ）には、図３（ａ）の状況で得られる複数のスライス画像ＩＭＧ_１～ＩＭＧ_３が示される。スライス画像ＩＭＧ_１を撮影するとき、イメージセンサはレンジＲＮＧ_１からの反射光のみにより露光されるため、スライス画像ＩＭＧ_１にはいかなる物体像も写らない。

【0050】

スライス画像ＩＭＧ_２を撮影するとき、イメージセンサはレンジＲＮＧ_２からの反射光のみにより露光されるため、スライス画像ＩＭＧ_２には、物体像ＯＢＪ_２のみが写る。同様にスライス画像ＩＭＧ_３を撮影するとき、イメージセンサはレンジＲＮＧ_３からの反射光のみにより露光されるため、スライス画像ＩＭＧ_３には、物体像ＯＢＪ_３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。

【0051】

画像処理装置２８における画像処理を説明する。図４は、センサ画像ＳＩのノイズを説明する図である。センサ画像ＳＩには、ラインに沿った横縞のノイズが含まれる。ノイズが発生するラインはランダムであり、またノイズレベルもランダムである。

【0052】

画像処理装置２８は、センサ画像ＳＩのライン毎に、画素値が小さいＭ個（Ｍ≧２）の平均値を算出し、同じラインに含まれる画素の画素値から平均値を減算する。

【0053】

Ｍは、ラインの画素数の２％～８％が好適であり、たとえば５％程度とすることができる。

【0054】

図５は、画像処理装置２８によるノイズキャンセルを説明する図である。図５はひとつのラインの処理を示す。あるラインの画素値の集合であるラインデータを参照し、画素値が小さい順にＭ個の画素値を選ぶ。この例では、Ｍ＝８であり、画素値１０，１０，１１，１１，１２，１３，１４，１５が選択される。画像処理装置２８は選択したＭ個の画素値の平均値ＡＶＥ（この例では１２）を算出する。そして、もとのセンサ画像ＳＩの対応するラインデータから、平均値ＡＶＥを減算する。

【0055】

図６は、ノイズ減算処理の前後のセンサ画像を示す図である。図７は、ノイズ減算処理の前後のセンサ画像を示す図である。図６では物体（被写体）を含まない画像を対象としており、図７は物体を含む画像を対象としている。この例では、各ラインの５％に相当する画素数Ｍの平均値を算出している。物体を含む場合も、画像を物体を含んでいる場合においても、バックグラウンドノイズだけを好適に除去できることが分かる。

【0056】

（実施形態２）
図８は、実施形態２に係るセンシングシステム１０のブロック図である。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪを検出する。

【0057】

センシングシステム１０は、主としてゲーティングカメラ２０を備える。ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、コントローラ２６、画像処理装置２８を含む。ゲーティングカメラ２０による撮像は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ_１～ＲＮＧ_Ｎに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。

【0058】

照明装置２２は、コントローラ２６から与えられる発光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光や紫外光であってもよい。

【0059】

イメージセンサ２４は、複数の画素を含み、コントローラ２６から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、センサ画像ＳＩを生成する。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。ｉ番目のレンジＲＮＧ_ｉに関して得られたセンサ画像をＳＩ_ｉと表記する。

【0060】

コントローラ２６は、照明装置２２によるプローブ光Ｌ１の照射タイミング（発光タイミング）と、イメージセンサ２４による露光のタイミングを制御する。

【0061】

イメージセンサ２４と画像処理装置２８は、シリアルインタフェースを介して接続されており、イメージセンサ２４が撮影したセンサ画像ＳＩ_ｉは、画像処理装置２８に伝送される。画像処理装置２８は、イメージセンサ２４から伝送されたセンサ画像ＳＩ_ｉにもとづいて、スライス画像ＩＭＧ_ｉを生成する。

【0062】

図９は、ゲーティングカメラ２０の基本動作を説明する図である。図９にはｉ番目のレンジＲＮＧ_ｉをセンシングするときの様子が示される。照明装置２２は、発光タイミング信号Ｓ１と同期して、時刻ｔ_０～ｔ_１の間の発光期間τ_１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧ_ｉの手前の境界までの距離をｄ_{ＭＩＮｉ、}レンジＲＮＧ_ｉの奥側の境界までの距離をｄ_ＭＡＸｉとする。

【0063】

ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＩＮｉは、
Ｔ_ＭＩＮｉ＝２×ｄ_ＭＩＮｉ／ｃ
である。ｃは光速である。

【0064】

同様に、ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＡＸｉは、
Ｔ_ＭＡＸｉ＝２×ｄ_ＭＡＸｉ／ｃ
である。

【0065】

レンジＲＮＧ_ｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ２６は、時刻ｔ_２＝ｔ_０＋Ｔ_ＭＩＮｉに露光を開始し、時刻ｔ_３＝ｔ_１＋Ｔ_ＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回の露光動作である。

【0066】

ｉ番目のレンジＲＮＧ_ｉを撮影する際に、発光および露光を複数セット、行ってもよい。この場合、コントローラ２６は、所定の周期τ_２で、上述の露光動作を複数回にわたり繰り返せばよい。

【0067】

図１０（ａ）、（ｂ）は、ゲーティングカメラ２０により得られるスライス画像を説明する図である。図１０（ａ）の例では、レンジＲＮＧ_２に物体（歩行者）ＯＢＪ_２が存在し、レンジＲＮＧ_３に物体（車両）ＯＢＪ_３が存在している。図１０（ｂ）には、図１０（ａ）の状況で得られる複数のスライス画像ＩＭＧ_１～ＩＭＧ_３が示される。スライス画像ＩＭＧ_１を撮影するとき、イメージセンサはレンジＲＮＧ_１からの反射光のみにより露光されるため、スライス画像ＩＭＧ_１にはいかなる物体像も写らない。

【0068】

スライス画像ＩＭＧ_２を撮影するとき、イメージセンサはレンジＲＮＧ_２からの反射光のみにより露光されるため、スライス画像ＩＭＧ_２には、物体像ＯＢＪ_２のみが写る。同様にスライス画像ＩＭＧ_３を撮影するとき、イメージセンサはレンジＲＮＧ_３からの反射光のみにより露光されるため、スライス画像ＩＭＧ_３には、物体像ＯＢＪ_３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。

【0069】

図１に戻る。本実施形態において、イメージセンサ２４から画像処理装置２８に伝送されるセンサ画像ＳＩの解像度（すなわち画素数）は、レンジに応じて変化する。具体的には、近いレンジほど、センサ画像ＳＩの解像度は低く（画素数が少なく）、遠いレンジほど、センサ画像ＳＩの解像度が高く（画素数が多く）なる。本実施形態では、すべてのレンジにおいて、イメージセンサ２４の全画素について露光を行い、全画素から必要な画素のみを読み出し対象とし、不要な画素を間引くことにより、センサ画像ＳＩを生成するものとする。コントローラ２６は、レンジごとに、伝送対象となる画素を指示する制御信号Ｓ３を生成し、イメージセンサ２４に供給する。

【0070】

コントローラ２６は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。

【0071】

図１１は、レンジに依存するセンサ画像ＳＩの解像度の制御の一例を説明する図である。ハッチを付した画素はセンサ画像ＳＩを構成する有効画素（有効ライン）を、白抜きの画素は伝送されない無効画素（無効ライン）を示す。この例では、伝送されるセンサ画像ＳＩの垂直方向の解像度、つまりラインの本数が、レンジに応じて制御される。たとえば最も遠いレンジでは、イメージセンサ２４の全ラインが有効とされ、全画素が有効画素として伝送される。レンジが近づくにつれて、間引かれるラインの比率（本数）が増えていき、有効画素数が減少する。

【0072】

図１２（ａ）は、ある走行シーンを示す図であり、図１２（ｂ）は、図１２（ａ）の走行シーンにおいて得られるセンサ画像ＳＩ_ｘ、ＳＩ_ｙを示す図である。

【0073】

図１２（ａ）の走行シーンにおいて、走行車線上には自車に近い位置に先行車ＯＢＪ１が存在し、対向車線上には、自車から遠い位置に、対向車ＯＢＪ２が存在する。先行車ＯＢＪ１は、ｘ番目のレンジＲＮＧ_ｘに含まれており、対向車ＯＢＪ２は、ｙ番目のレンジＲＮＧ_ｙに含まれるものとする。

【0074】

図１２（ｂ）のセンサ画像ＳＩ_ｘには、レンジＲＮＧ_ｘの先行車ＯＢＪ１が写っており、センサ画像ＳＩ_ｙには、レンジＲＮＧ_ｙの対向車ＯＢＪ２が写っている。図１２（ｂ）の横線は、センサ画像を構成する有効なラインを示す。

【0075】

各レンジにおけるセンサ画像ＳＩの解像度は、同じ物体（この例では車両）を写したときに、同程度の本数の有効ラインを横切るように定めるとよい。

【0076】

図１３（ａ）は、ゲーティングカメラ２０の動作を示すタイムチャートである。図１３（ｂ）は、比較技術に係るゲーティングカメラの動作を示すタイムチャートである。

【0077】

はじめに、図１３（ｂ）を参照して、比較技術の説明をする。比較技術では、すべてのレンジについて、同じ解像度のセンサ画像ＳＩ_１～ＳＩ_３を伝送する。この場合、すべてのセンサ画像ＳＩ_１，ＳＩ_２，ＳＩ_３に同じ伝送時間を有し、１サイクルに含まれる３つのレンジＲＮＧ_１～ＲＮＧ_３のセンシングに要する時間が長くなる。

【0078】

続いて、図１３（ａ）を参照し、実施形態２に係るゲーティングカメラ２０の動作を説明する。この例ではレンジの数は３であり、レンジＲＮＧ_１は０～２５ｍ、レンジＲＮＧ_２は２５～５０ｍ、レンジＲＮＧ_３は５０～１００ｍをカバーするものとする。最も遠い３番目のレンジＲＮＧ_３については全ラインを有効とする。２番目のレンジＲＮＧ_２の距離は、３番目のレンジＲＮＧ_３の距離の略半分であるから、センサ画像ＳＩの解像度が１／２とされる。１番目のレンジＲＮＧ_１の距離は、３番目のレンジＲＮＧ_３の距離の１／４であるから、センサ画像ＳＩの解像度は１／４とする。この場合、具体的には、センサ画像ＳＩ_３はイメージセンサの全ラインが有効ラインとされる。センサ画像ＳＩ_２は、２本に１本の比率で有効ラインが選択され、センサ画像ＳＩ_１は、４本に１本の比率で有効ラインが選択される。

【0079】

センサ画像ＳＩ_１，ＳＩ_２，ＳＩ_３の画素数はライン数に比例するから、およそ１：２：４の関係が成り立つ。したがって、センサ画像ＳＩ_１の伝送時間はセンサ画像ＳＩ_３の伝送時間の１／４に短縮され、センサ画像ＳＩ_２の伝送時間はセンサ画像ＳＩ_３の伝送時間の１／２に短縮される。したがって１サイクルに含まれる３つのレンジＲＮＧ_１～ＲＮＧ_３のセンシングに要する時間を短縮できる。

【0080】

なお、上述のようにラインスキップにより生成されるセンサ画像ＳＩ_１，ＳＩ_２は、センサ画像ＳＩ_３に比べて垂直方向に潰れており、アスペクト比が異なる。そこで画像処理装置２８は、画像処理によりセンサ画像ＳＩ_１～ＳＩ_３のアスペクト比を均一化して、スライス画像ＩＭＧ_１～ＩＭＧ_３を生成してもよい。

【0081】

たとえば画像処理装置２８は、センサ画像ＳＩ_ｊについて、伝送時に間引かれた無効ラインを、画像処理によって補完してもよい。この場合、すべてのスライス画像ＩＭＧ_１～ＩＭＧ_３は同じ解像度とすることができる。

【0082】

あるいは画像処理装置２８は、伝送時にセンサ画像ＳＩ_ｊの垂直解像度がＸ倍（Ｘ＜１）されている場合に、水平方向の解像度をＸ倍としてもよい。つまり画像処理装置２８は、受信したセンサ画像ＳＩ_ｊの複数のカラムを間引くことにより、スライス画像ＩＭＧｉを生成してもよい。

【0083】

上の説明では、センサ画像の垂直方向の解像度を可変としたがその限りでない。図１４は、レンジに依存するセンサ画像ＳＩの解像度の制御の別の例を説明する図である。この例では、伝送されるセンサ画像ＳＩの水平方向の解像度、つまりカラムの本数が、レンジに応じて制御される。たとえば最も遠いレンジでは、イメージセンサ２４の全カラムが有効とされ、全画素が有効画素として伝送される。レンジが近づくにつれて、間引かれるカラムの比率（本数）が増えていき、有効画素数が減少する。

【0084】

図１５は、レンジに依存するセンサ画像ＳＩの解像度の制御のさらに別の例を説明する図である。この例では、伝送されるセンサ画像ＳＩの水平方向および垂直方向の解像度が、レンジに応じて制御される。

【0085】

続いて、ゲーティングカメラ２０の変形例を説明する。

【0086】

（変形例１）
上述の説明では、レンジに係わらず、イメージセンサ２４の全画素について露光を行い、読み出すラインやカラムを選択することにより、センサ画像ＳＩの解像度を制御したが、その限りでない。イメージセンサ２４の仕様によっては、ライン毎、カラム毎あるいは画素毎に、露光の有無を制御可能なものが存在する。このような仕様のイメージセンサ２４を採用する場合には、各レンジにおいて、伝送対象となる有効画素のみを露光することとしてもよい。

【0087】

（変形例２）
変形例１のように、画素毎の露光制御が可能なイメージセンサ２４を利用した場合、画素（ライン／カラム）の利用率が低いレンジにおいて、画素（ライン／カラム）を複数のグループに分けて、異なるレンジの撮影に利用することが可能である。図１６は、変形例２に係るゲーティングカメラ２０のブロック図である。１回の照明装置２２の発光に対して、第１のタイミングで、イメージセンサ２４の第１画素群（ライン群あるいはカラム群）の露光を行い、第２のタイミングで、イメージセンサ２４の第２画素群（ライン群あるいはカラム群）の露光を行う。第１画素群が形成するセンサ画像と、第２画素群が形成するセンサ画像ＳＩ_ｉ，ＳＩ_ｊは、異なるレンジＲＮＧ_ｉ，ＲＮＧ_ｊを撮影した画像となる。

【0088】

コントローラ２６は、照明装置２２に対する発光タイミング信号Ｓ１を生成し、あるレンジＲＮＧ_ｉの物体が露光されるように、第１画素群に対する露光タイミング信号Ｓ２Ａを生成し、別のレンジＲＮＧ_ｊの物体が露光されるように、第２画素群に対する露光タイミング信号Ｓ２Ｂを生成する。

【0089】

図１７は、変形例２に係るゲーティングカメラ２０の露光を説明する図である。この例では、１つのレンジの撮影時の画素（ライン）の利用率は５０％である。イメージセンサ２４を構成する全画素が、１行ごとに、奇数ラインの第１画素群と、偶数ラインの第２画素群に分類され、別々のタイミングで露光制御される。

【0090】

図１８は、変形例２に係るゲーティングカメラ２０の動作を説明するタイムチャートである。第１画素群は、相対的に近いｉ番目のレンジＲＮＧ_ｉに割り当てられ、第２画素群は、ｊ番目のレンジＲＮＧ_ｊ（ｊ＞ｉ）に割り当てられる。照明装置２２は、発光タイミング信号Ｓ１と同期して、時刻ｔ_０～ｔ_１の間の発光期間τ_１の間、発光する。最上段には、横軸に時間、縦軸に距離ｄをとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧ_ｉの手前の境界までの距離をｄ_{ＭＩＮｉ、}レンジＲＮＧ_ｉの奥側の境界までの距離をｄ_ＭＡＸｉとする。同様に、ゲーティングカメラ２０から、レンジＲＮＧ_ｊの手前の境界までの距離をｄ_{ＭＩＮｊ、}レンジＲＮＧ_ｉの奥側の境界までの距離をｄ_ＭＡＸｊとする。

【0091】

レンジＲＮＧ_ｉに含まれる物体ＯＢＪ_ｉを撮影するために、時刻ｔ_２＝ｔ_０＋Ｔ_ＭＩＮｉに第１画素群の露光が開始し、時刻ｔ_３＝ｔ_１＋Ｔ_ＭＡＸｉに露光が終了するように、露光タイミング信号Ｓ２Ａが生成される。

【0092】

また同じプローブ光を利用して、レンジＲＮＧ_ｊに含まれる物体ＯＢＪ_ｊを撮影するために、時刻ｔ_４＝ｔ_０＋Ｔ_ＭＩＮｊに第２画素群の露光が開始し、時刻ｔ_５＝ｔ_１＋Ｔ_ＭＡＸｊに露光が終了するように、露光タイミング信号Ｓ２Ｂが生成される。
Ｔ_ＭＩＮｊ＝２×ｄ_ＭＩＮｊ／ｃ
Ｔ_ＭＡＸｊ＝２×ｄ_ＭＡＸｊ／ｃ

【0093】

なお、同時に撮影する２個のレンジＲＮＧ_ｉ，ＲＮＧ_ｊは隣接していてもよい（ｊ＝ｉ＋１）。

【0094】

この変形例によれば、近いレンジを撮影する際には、センサ画像ＳＩの解像度を低下させることで、伝送時間を短縮できる。

【0095】

また、照明装置２２の１回の発光で、２つのレンジの画像を取得できるようになるため、ハードウェア資源の利用効率が高まる。

【0096】

一般化すると、画素の利用効率が１／Ｎとなる状況では、イメージセンサ２４の画素を、Ｎつの画素群に分類し、Ｎつのレンジの撮影を行うことも可能である。また画素群の分類は、ライン単位に限定されず、カラム単位であってもよいし、画素単位であってもよい。

【0097】

（実施形態３）

【0098】

図１９は、実施形態に係るセンシングシステム１０のブロック図である。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪを検出する。

【0099】

センシングシステム１０は、主としてゲーティングカメラ２０を備える。ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、コントローラ２６、画像処理装置２８を含む。ゲーティングカメラ２０による撮像は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ_１～ＲＮＧ_Ｎに区切って行われ、レンジ毎にスライス画像を生成する。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。

【0100】

イメージセンサ２４は、複数の画素を含み、画素ごと、ラインごと、あるいはカラムごとに個別に、露光タイミングが制御可能に構成される。複数の画素は、複数の画素群に分類される。以下の説明では画素群の個数は２であるものとし、第１画素群と第２画素群と称する。

【0101】

ゲーティングカメラ２０は、１回の照明装置２２の発光に対して、第１のタイミングで、イメージセンサ２４の第１画素群（ライン群あるいはカラム群）の露光を行い、第２のタイミングで、イメージセンサ２４の第２画素群（ライン群あるいはカラム群）の露光を行う。第１画素群が形成するセンサ画像と、第２画素群が形成するセンサ画像ＳＩ_ｉ，ＳＩ_ｊは、異なるレンジＲＮＧ_ｉ，ＲＮＧ_ｊを撮影した画像となる。

【0102】

具体的にはコントローラ２６は、照明装置２２の１回の発光に対して、第１画素群と第２画素群とを、異なるタイミングで露光する。

【0103】

コントローラ２６は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。

【0104】

イメージセンサ２４と画像処理装置２８は、シリアルインタフェースを介して接続されており、イメージセンサ２４の第１画素群によって撮影されたセンサ画像ＳＩ_ｉと、イメージセンサ２４の第２画素群によって撮影されたセンサ画像ＳＩ_ｊは、別々の画像として伝送してもよい。画像処理装置２８は、イメージセンサ２４から伝送されたセンサ画像ＳＩ_ｉにもとづいて、スライス画像ＩＭＧ_ｉを生成する。画像処理装置２８における画像処理は特に限定されないが、たとえばアスペクト比を変更する補間処理や間引き処理を行ってもよい。

【0105】

ｉ番目のレンジＲＮＧ_ｉとｊ番目のレンジＲＮＧ_ｊを撮影する際に、発光および露光を複数セット、行ってもよい。この場合、コントローラ２６は、発光および露光動作を複数回にわたり繰り返せばよい。この場合、画像処理装置２８は、同じレンジＲＮＧ_ｉに対して得られる複数のセンサ画像ＳＩ_ｉを合成して、１枚のスライス画像ＩＭＧ_ｉを生成してもよい。

【0106】

以上がゲーティングカメラ２０の構成である。続いてその動作を説明する。

【0107】

図２０は、図１９のゲーティングカメラ２０の動作を説明するタイムチャートである。第１画素群は、相対的に近いｉ番目のレンジＲＮＧ_ｉに割り当てられ、第２画素群は、ｊ番目のレンジＲＮＧ_ｊ（ｊ＞ｉ）に割り当てられる。照明装置２２は、発光タイミング信号Ｓ１と同期して、時刻ｔ_０～ｔ_１の間の発光期間τ_１の間、発光する。最上段には、横軸に時間、縦軸に距離ｄをとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧ_ｉの手前の境界までの距離をｄ_{ＭＩＮｉ、}レンジＲＮＧ_ｉの奥側の境界までの距離をｄ_ＭＡＸｉとする。同様に、ゲーティングカメラ２０から、レンジＲＮＧ_ｊの手前の境界までの距離をｄ_{ＭＩＮｊ、}レンジＲＮＧ_ｉの奥側の境界までの距離をｄ_ＭＡＸｊとする。

【0108】

ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＩＮｉは、
Ｔ_ＭＩＮｉ＝２×ｄ_ＭＩＮｉ／ｃ
である。ｃは光速である。

【0109】

同様に、ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＡＸｉは、
Ｔ_ＭＡＸｉ＝２×ｄ_ＭＡＸｉ／ｃ
である。

【0110】

レンジＲＮＧ_ｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ２６は、時刻ｔ_２＝ｔ_０＋Ｔ_ＭＩＮｉに露光を開始し、時刻ｔ_３＝ｔ_１＋Ｔ_ＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回の露光動作である。

【0111】

したがって、レンジＲＮＧ_ｉに含まれる物体ＯＢＪ_ｉを撮影するために、時刻ｔ_２＝ｔ_０＋Ｔ_ＭＩＮｉに第１画素群の露光が開始し、時刻ｔ_３＝ｔ_１＋Ｔ_ＭＡＸｉに露光が終了するように、露光タイミング信号Ｓ２Ａが生成される。

【0112】

また同じプローブ光を利用して、レンジＲＮＧ_ｊに含まれる物体ＯＢＪ_ｊを撮影するために、時刻ｔ_４＝ｔ_０＋Ｔ_ＭＩＮｊに第２画素群の露光が開始し、時刻ｔ_５＝ｔ_１＋Ｔ_ＭＡＸｊに露光が終了するように、露光タイミング信号Ｓ２Ｂが生成される。
Ｔ_ＭＩＮｊ＝２×ｄ_ＭＩＮｊ／ｃ
Ｔ_ＭＡＸｊ＝２×ｄ_ＭＡＸｊ／ｃ

【0113】

なお、同時に撮影する２個のレンジＲＮＧ_ｉ，ＲＮＧ_ｊは隣接していてもよい（ｊ＝ｉ＋１）。

【0114】

図２１（ａ）、（ｂ）は、図１９のゲーティングカメラ２０により得られるスライス画像を説明する図である。図２１（ａ）の例では、レンジＲＮＧ_２に物体（歩行者）ＯＢＪ_２が存在し、レンジＲＮＧ_３に物体（車両）ＯＢＪ_３が存在している。図２１（ｂ）には、図２１（ａ）の状況で得られる複数のスライス画像ＩＭＧ_１～ＩＭＧ_３が示される。スライス画像ＩＭＧ_１を撮影するとき、イメージセンサはレンジＲＮＧ_１からの反射光のみにより露光されるため、スライス画像ＩＭＧ_１にはいかなる物体像も写らない。

【0115】

レンジＲＮＧ_２を第１画素群に割り当て、レンジＲＮＧ_３を第２画素群に割り当てたとする。このとき、第１画素群はレンジＲＮＧ_２からの反射光のみにより露光されるため、センサ画像ＳＩ_２には、物体像ＯＢＪ_２のみが写る。同様に第２画素群は、レンジＲＮＧ３からの反射光のみにより露光されるため、センサ画像ＳＩ_３には、物体像ＯＢＪ_３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。

【0116】

照明装置２２の１回の発光で、２つのレンジＲＮＧ_ｉ，ＲＮＧ_ｊの画像を取得できるようになるため、すべてのレンジを撮影するのに要するセンシング時間を短縮できる。また、１回の発光で、ひとつのレンジしか撮影しないシステムでは、撮影対象のレンジ以外の物体からの反射光が無駄になっていたところ、本実施形態では、別のレンジの物体からの反射光も検出するため、エネルギーの利用効率が高まる。

【0117】

続いて、画素群の分割について説明する。図２２（ａ）～（ｄ）は、画素群の例を示す図である。図２２（ａ）では、１ライン飛ばしで、第１画素群と第２画素群に割り振られる。複数の画素群の個数をｎ（ｎ≧２）とするとき、ｉ番目の画素群は、ｉ＋ｎ×ｊ（ｊは整数）番目のラインを含む。この例は、ラインごとに、露光のタイミングを制御可能なイメージセンサに好適である。

【0118】

図２２（ｂ）では、１カラム飛ばしで、第１画素群と第２画素群に割り振られる。複数の画素群の個数をｎ（ｎ≧２）とするとき、ｉ番目の画素群は、ｉ＋ｎ×ｊ（ｊは整数）番目のカラムを含む。この例は、カラムごとに、露光のタイミングを制御可能なイメージセンサに好適である。

【0119】

図２２（ｃ）では、全画素の左半分が第１画素群に、右半分が第２画素群に振り分けられる。変形例として、全画素の上半分を第１画素群に、下半分を第２画素群に振り分けてもよい。

【0120】

図２２（ｄ）では、画素群の数が４である。全画素は、隣接する４ピクセルを含むブロックに分割され、各ブロックから１個ずつ選択することで、第１画素群～第４画素群が形成される。

【0121】

実施形態１～３で説明した技術は、任意に組み合わせて実装することができる。

【0122】

（用途）
図２３は、センシングシステム１０のブロック図である。センシングシステム１０は、実施形態１～３で説明したいずれかのゲーティングカメラ２０に加えて演算処理装置４０を備える。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ、あるいはクラスともいう）を判定する。

【0123】

ゲーティングカメラ２０により、複数のレンジＲＮＧ_１～ＲＮＧ_Ｎに対応する複数のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎが生成される。ｉ番目のスライス画像ＩＭＧ_ｉには、対応するレンジＲＮＧ_ｉに含まれる物体のみが写る。

【0124】

演算処理装置４０は、ゲーティングカメラ２０によって得られる複数のレンジＲＮＧ_１～ＲＮＧ_Ｎに対応する複数のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎにもとづいて、物体の種類を識別可能に構成される。演算処理装置４０は、機械学習によって生成された学習済みモデルにもとづいて実装される分類器４２を備える。演算処理装置４０は、レンジ毎に最適化された複数の分類器４２を含んでもよい。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。

【0125】

演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０はハードウェアのみで構成してもよい。演算処理装置４０の機能と、画像処理装置２８の機能を、同じプロセッサに実装してもよい。

【0126】

図２４（ａ）、（ｂ）は、ゲーティングカメラ２０を備える自動車３００を示す図である。図２４（ａ）を参照する。自動車３００は、ヘッドランプ（灯具）３０２Ｌ，３０２Ｒを備える。図２４（ａ）の自動車３００は、車両の中央に１個の照明装置２２が設けられ、左右のヘッドランプ３０２Ｌ，３０２Ｒの一方、あるいは両方にイメージセンサ２４が内蔵される。照明装置２２の位置は特に限定されないが、たとえばフロントバンパー（i）やフロントグリル（ii）に設けてもよいし、フロントウィンドウの内側のルームミラーの裏側（iii）に取り付けてもよい。またコントローラ２６の位置も特に限定されず、エンジンルームに設けてもよいし、車室内に設けてもよいし、ヘッドランプに内蔵してもよい。

【0127】

図２４（ｂ）を参照する。照明装置２２は、複数（たとえば２個）の光源２２Ａ、２２Ｂを含む。複数の光源２２Ａ，２２Ｂは、同じタイミングで発光し、それらの出射光が、１個のプローブ光を形成する。複数の光源２２Ａ、２２Ｂは、左右のヘッドランプ３０２Ｌ，３０２Ｒに内蔵される。

【0128】

イメージセンサ２４は、ヘッドランプ３０２Ｌ，３０２Ｒの一方、あるいは両方に内蔵される。あるいはイメージセンサ２４は、ヘッドランプ３０２Ｌ，３０２Ｒの外側に設けてもよく、たとえば照明装置２２の近傍に設けてもよい。

【0129】

図２５は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述のセンシングシステム１０に対応しており、ゲーティングカメラ２０および演算処理装置４０を含む。

【0130】

演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。

【0131】

また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。

【0132】

実施形態にもとづき、具体的な語句を用いて本発明を説明したが、実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

【産業上の利用可能性】

【0133】

本発明は、ゲーティングカメラに関する。

【符号の説明】

【0134】

Ｓ１ 発光タイミング信号
Ｓ２ 露光タイミング信号
１０ センシングシステム
２０ ゲーティングカメラ
２２ 照明装置
２４ イメージセンサ
２６ コントローラ
２８ 画像処理装置
４０ 演算処理装置
４２ 分類器
２００ 車両用灯具
２０２ 光源
２０４ 点灯回路
２０６ 光学系
３００ 自動車
３０２ ヘッドランプ
３０４ 車両側ＥＣＵ
３１０ 灯具システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】