特許 7653436 ゲーティングカメラ、車両用センシングシステム、車両用灯具

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-19

(45)【発行日】2025-03-28

(54)【発明の名称】ゲーティングカメラ、車両用センシングシステム、車両用灯具

(51)【国際特許分類】

   G01S 17/18 20200101AFI20250321BHJP

   G01S 17/894 20200101ALI20250321BHJP

   G01S 17/931 20200101ALI20250321BHJP

   G03B 15/03 20210101ALN20250321BHJP

   G03B 15/05 20210101ALN20250321BHJP

   H04N 23/56 20230101ALN20250321BHJP

   H04N 23/60 20230101ALN20250321BHJP

【ＦＩ】

G01S17/18

G01S17/894

G01S17/931

G03B15/03 V

G03B15/05

H04N23/56

H04N23/60 500

【請求項の数】 20

(21)【出願番号】P 2022536281

(86)(22)【出願日】2021-07-06

(86)【国際出願番号】 JP2021025500

(87)【国際公開番号】W WO2022014416

(87)【国際公開日】2022-01-20

【審査請求日】2024-04-24

(31)【優先権主張番号】P 2020120853

(32)【優先日】2020-07-14

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2020120854

(32)【優先日】2020-07-14

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2020134109

(32)【優先日】2020-08-06

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001133

【氏名又は名称】株式会社小糸製作所

(74)【代理人】

【識別番号】110001416

【氏名又は名称】弁理士法人信栄事務所

(72)【発明者】

【氏名】加藤 大騎

(72)【発明者】

【氏名】▲高▼橋 昌之

(72)【発明者】

【氏名】伊多波 晃志

(72)【発明者】

【氏名】種本 駿

【審査官】九鬼 一慶

(56)【参考文献】

【文献】特開２００９－２８２９０６（ＪＰ，Ａ）

【文献】特開２０１０－０７１７０４（ＪＰ，Ａ）

【文献】中国特許出願公開第１１００１８４９３（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８ － ７／５１

Ｇ０１Ｓ １７／００ － １７／９５

Ｇ０３Ｂ １５／０３

Ｇ０３Ｂ １５／０５

Ｈ０４Ｎ ２３／５６

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

視野を奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、
プローブ光を照射する照明装置と、
露光により生画像を生成し、前記生画像を構成する複数のラインのうち、物標を含まない無効ラインに関する画像情報を圧縮して得られる圧縮画像を出力するイメージセンサと、
前記照明装置の発光タイミングと前記イメージセンサの露光のタイミングを制御するカメラコントローラと、
前記イメージセンサから前記圧縮画像を受信し、前記スライス画像を復元する画像処理装置と、
を備えることを特徴とするゲーティングカメラ。

【請求項2】

前記イメージセンサは、あるラインの全画素の画素値が所定のしきい値より小さいとき、当該ラインを、前記無効ラインとすることを特徴とする請求項１に記載のゲーティングカメラ。

【請求項3】

前記スライス画像において、前記無効ラインの画素値はゼロであることを特徴とする請求項１または２に記載のゲーティングカメラ。

【請求項4】

前記イメージセンサは、
前記無効ラインでない有効ラインについては、行番号と、値が第１値であるヘッダと、当該有効ラインに含まれる全画素の画素値と、を含むラインデータを伝送し、
前記無効ラインについては、行番号と、値が第２値であるヘッダと、を含むラインデータを伝送することを特徴とする請求項１から３のいずれかに記載のゲーティングカメラ。

【請求項5】

前記画像処理装置は、受信した前記ラインデータの前記ヘッダの値が前記第２値であるとき、当該ラインの全画素値を０とすることを特徴とする請求項４に記載のゲーティングカメラ。

【請求項6】

視野を奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、
プローブ光を照射する照明装置と、
イメージセンサと、
前記照明装置の発光タイミングと前記イメージセンサの露光のタイミングを制御し、前記イメージセンサに、前記複数のレンジに対応する前記複数のスライス画像を発生させるカメラコントローラと、
前記イメージセンサから前記複数のスライス画像を受け、注目画素を選択し、前記注目画素において物体を含むスライス画像を有効画像とし、有効画像以外のスライス画像の注目画素の画素値にもとづいてノイズレベルを検出し、前記複数のスライス画像それぞれの注目画素の画素値を前記ノイズレベルにもとづいて補正する画像処理装置と、
を備えることを特徴とするゲーティングカメラ。

【請求項7】

前記ノイズレベルは、前記有効画像以外のスライス画像の注目画素の画素値の平均値であることを特徴とする請求項６に記載のゲーティングカメラ。

【請求項8】

前記画像処理装置は、前記注目画素の画素値が最も大きいスライス画像を、前記有効画像とすることを特徴とする請求項６または７に記載のゲーティングカメラ。

【請求項9】

前記画像処理装置は、あるスライス画像について、注目画素の画素値が所定のしきい値を超えるとき、当該スライス画像を前記有効画像とすることを特徴とする請求項６または７に記載のゲーティングカメラ。

【請求項10】

視野を奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、
プローブ光を照射する照明装置と、
イメージセンサと、
前記照明装置の発光タイミングと前記イメージセンサの露光のタイミングを制御し、前記イメージセンサに、前記複数のレンジに対応する複数のスライス画像を発生させるカメラコントローラと、
前記イメージセンサから前記複数のスライス画像を受け、注目画素を選択し、全スライス画像の注目画素の画素値にもとづいてノイズレベルを検出し、前記複数のスライス画像それぞれの注目画素の画素値を前記ノイズレベルにもとづいて補正する画像処理装置と、
を備えることを特徴とするゲーティングカメラ。

【請求項11】

前記ノイズレベルは、前記全スライス画像の注目画素の画素値の平均値であることを特徴とする請求項１０に記載のゲーティングカメラ。

【請求項12】

奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、
プローブ光を照射する照明装置と、
イメージセンサと、
前記照明装置の発光タイミングと前記イメージセンサの露光のタイミングを制御し、前記イメージセンサに、前記複数のレンジに対応する複数の画像データを生成させるカメラコントローラと、
を備え、
前記カメラコントローラは、前記プローブ光の減衰係数と相関を有する視界情報を撮影パラメータに反映させることを特徴とするゲーティングカメラ。

【請求項13】

前記カメラコントローラは、前記プローブ光の前記減衰係数が大きいほど、１枚のスライス画像を生成するための露光回数を増加させることを特徴とする請求項１２に記載のゲーティングカメラ。

【請求項14】

前記カメラコントローラは、レンジの番号と露光回数の関係を複数個、保持しており、前記視界情報に応じたひとつを選択することを特徴とする請求項１３に記載のゲーティングカメラ。

【請求項15】

前記カメラコントローラは、前記減衰係数が大きい場合に、遠距離の撮影を諦めることと引き換えに、奥行き方向の分解能を高めることを特徴とする請求項１２から１４のいずれかに記載のゲーティングカメラ。

【請求項16】

前記カメラコントローラは、前記減衰係数が大きいほど、ひとつのレンジの長さを短くすることを特徴とする請求項１２から１５のいずれかに記載のゲーティングカメラ。

【請求項17】

前記カメラコントローラは、前記減衰係数が大きいほど、測定対象とするレンジの個数を奥側から順に減らすことを特徴とする請求項１２から１６のいずれかに記載のゲーティングカメラ。

【請求項18】

プローブ光を照射する照明装置とイメージセンサを備え、視野の奥行き方向について複数のレンジに分割して撮影するゲーティングカメラの制御方法であって、
視野における前記プローブ光の透過率と相関を有する視界情報を取得するステップと、
前記視界情報にもとづいて、撮影パラメータを決定するステップと、
前記撮影パラメータに応じて、前記照明装置および前記イメージセンサを制御するステップと、
を備えることを特徴とする制御方法。

【請求項19】

請求項１から１７のいずれかに記載のゲーティングカメラと、
前記ゲーティングカメラが撮影する前記複数のスライス画像を処理する演算処理装置と、
を備えることを特徴とする車両用センシングシステム。

【請求項20】

請求項１から１７のいずれかに記載のゲーティングカメラを備えることを特徴とする車両用灯具。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ゲーティングカメラに関する。

【背景技術】

【0002】

自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。

【0003】

一般的な単眼のカメラからは、奥行きの情報を得ることができない。したがって、異なる距離に位置する複数の物体が重なっている場合に、それらを分離することが難しい。

【0004】

奥行き情報が得られるカメラとして、ＴＯＦカメラが知られている。ＴＯＦ（Time Of Flight）カメラは、発光デバイスによって赤外光を投光し、反射光がイメージセンサに戻ってくるまでの飛行時間を測定し、飛行時間を距離情報に変換したＴＯＦ画像を得るものである。

【0005】

ＴＯＦカメラに代わるアクティブセンサとして、ゲーティングカメラ（Gating CameraあるいはGated Camera）が提案されている（特許文献１，２）。ゲーティングカメラは、撮影範囲を複数のレンジに区切り、レンジ毎に露光タイミングおよび露光時間を変化させて、撮像する。これにより、対象のレンジ毎にスライス画像が得られ、各スライス画像は対応するレンジに含まれる物体のみを含む。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００９－２５７９８１号公報

【文献】国際公開ＷＯ２０１７／１１０４１７Ａ１

【発明の概要】

【発明が解決しようとする課題】

【0007】

１． ゲーティングカメラは、イメージセンサと、イメージセンサの出力画像（センサ画像）を処理する画像処理装置を備える。ここでイメージセンサから画像処理装置の間は、シリアルインタフェースで接続される場合が多く、この間のセンサ画像の伝送速度がボトルネックとなり、１枚のスライス画像の生成に要する時間が長くなり、ゲーティングカメラのフレームレートが制限される。

【0008】

本開示のある態様は係る状況においてなされたものであり、その例示的な目的のひとつは、スライス画像の生成時間を短縮可能なゲーティングカメラの提供にある。

【0009】

２． 本発明者らは、日中の撮影が可能なゲーティングカメラについて検討し、以下の課題を認識するに至った。日中撮影するためには、太陽光の影響を受けにくくするために、使用する赤外光の波長を、長くする必要がある。しかしながら現実的に使用できる波長は１μｍ～１．３μｍであり、この波長帯にも、太陽光のスペクトルは含まれる。

【0010】

したがって、ゲーティングカメラを日中に使用すると、スライス画像には、太陽光の影響で大きなバックグラウンドノイズが含まれることとなり、物体からの反射光すなわち信号成分が埋もれてしまう。

【0011】

本開示のある態様は係る状況においてなされたものであり、その例示的な目的のひとつは、バックグラウンドノイズの影響を除去可能なゲーティングカメラの提供にある。

【0012】

３． ゲーティングカメラのイメージセンサに入射する光は、ゲーティングカメラから放射され、物体に到達したプローブ光が、物体において反射／散乱されて戻ってきた光であるから、ゲーティングカメラと物体の間を１往復することとなる。濃霧や強い雨などの状況では、ゲーティングカメラと物体の間の透過率が低下するため、イメージセンサへの入射光の強度が低下する。したがって視界が悪い状況では、遠いレンジの撮影が難しくなる。

【0013】

本開示のある態様は係る状況においてなされたものであり、その例示的な目的のひとつは、視界の良否に応じて適切に動作可能なゲーティングカメラの提供にある。

【課題を解決するための手段】

【0014】

１． 本開示のある態様は、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラに関する。ゲーティングカメラは、プローブ光を照射する照明装置と、露光により生画像を生成し、生画像を構成する複数のラインのうち、物標を含まない無効ラインに関する画像情報を圧縮して得られる圧縮画像を出力するイメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御するカメラコントローラと、イメージセンサから圧縮画像を受信し、スライス画像を復元する画像処理装置と、を備える。

【0015】

２． 本開示のある態様に係るゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御し、イメージセンサに、複数のレンジに対応する複数のスライス画像を発生させるカメラコントローラと、イメージセンサから複数のスライス画像を受け、注目画素を選択し、注目画素において物体を含むスライス画像を有効画像とし、有効画像以外のスライス画像の注目画素の画素値にもとづいてノイズレベルを検出し、複数のスライス画像それぞれの注目画素の画素値をノイズレベルにもとづいて補正する画像処理装置と、を備える。

【0016】

本開示のある態様に係るゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御し、イメージセンサに、複数のレンジに対応する前記複数のスライス画像を発生させるカメラコントローラと、イメージセンサから複数のスライス画像を受け、注目画素を選択し、全スライス画像の注目画素の画素値にもとづいてノイズレベルを検出し、複数のスライス画像の注目画素をノイズレベルにもとづいて補正する画像処理装置と、を備える。

【0017】

３． 本開示のある態様に係るゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光タイミングを制御し、イメージセンサに、複数のレンジに対応する複数の画像データを生成させるカメラコントローラと、を備える。カメラコントローラは、プローブ光の減衰係数と相関を有する視界情報を撮影パラメータに反映させる。

【発明の効果】

【0018】

本開示のある態様によれば、スライス画像の生成時間を短縮できる。本開示のある態様によれば、バックグラウンドノイズの影響を除去できる。本開示のある態様によれば、視界の良否に応じた動作が可能となる。

【図面の簡単な説明】

【0019】

【図1】実施形態１に係るセンシングシステムのブロック図である。

【図2】ゲーティングカメラの基本動作を説明する図である。

【図3】図３（ａ）、（ｂ）は、ゲーティングカメラにより得られるスライス画像を説明する図である。

【図4】ある走行シーンを示す図である。

【図5】図５（ａ）～（ｃ）は、図４の走行シーンにおける信号処理を示す図である。

【図6】ゲーティングカメラの動作を示すフローチャートである。

【図7】図７（ａ）は、圧縮画像ＩＭＧ＿ＣＯＭＰを示す図であり、図７（ｂ）は、ラインデータを示す図である。

【図8】変形例１．３に係るゲーティングカメラの処理を説明する図である。

【図9】実施形態２．１に係るセンシングシステムのブロック図である。

【図10】ゲーティングカメラの基本動作を説明する図である。

【図11】図１１（ａ）、（ｂ）は、ゲーティングカメラにより得られるスライス画像を説明する図である。

【図12】実施形態２．１に係るノイズ除去のフローチャートである。

【図13】実施形態２．１に係るノイズ除去を説明する図である。

【図14】図１４（ａ）、（ｂ）は、実施形態２．１に係る補正処理を説明する図である。

【図15】図１５（ａ）、（ｂ）は、実施形態２．２に係る補正処理を説明する図である。

【図16】実施形態３に係るセンシングシステムのブロック図である。

【図17】ゲーティングカメラの動作を説明する図である。

【図18】図１８（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。

【図19】図１６のゲーティングカメラにおける第１制御方法を説明する図である。

【図20】図２０（ａ）、（ｂ）は、図１６のゲーティングカメラの第１制御方法の動作を示すタイムチャートである。

【図21】図２１（ａ）、（ｂ）は、図１６のゲーティングカメラにおける第２制御方法を説明する図である。

【図22】図２２（ａ）、（ｂ）は、図２１（ａ）の制御に対応する複数のレンジを示す図である。

【図23】図１６のゲーティングカメラの第３制御方法に係る動作を説明する図である。

【図24】図２４（ａ）～（ｃ）は、第３制御方法における複数のレンジを示す図である。

【図25】センシングシステムのブロック図である。

【図26】図２６（ａ）、（ｂ）は、ゲーティングカメラを備える自動車を示す図である。

【図27】物体検出システムを備える車両用灯具を示すブロック図である。

【発明を実施するための形態】

【0020】

本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。この概要は、考えられるすべての実施形態の包括的な概要ではなく、すべての実施形態の重要な要素を特定することも、一部またはすべての態様の範囲を線引きすることも意図していない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。

【0021】

１． 一実施形態に係るゲーティングカメラは、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成する。ゲーティングカメラは、プローブ光を照射する照明装置と、露光により生画像を生成し、生画像を構成する複数のラインのうち、物標を含まない無効ラインに関する画像情報を圧縮して得られる圧縮画像を出力するイメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御するカメラコントローラと、イメージセンサから圧縮画像を受信し、スライス画像を復元する画像処理装置と、を備える。

【0022】

イメージセンサにおいて得られる生画像について、ラインごとに、物標を含むか否かを判定し、物標を含まないラインについては、イメージセンサから画像処理装置への伝送量を圧縮することで、伝送時間を短くすることができ、スライス画像の生成時間を短縮できる。

【0023】

一実施形態において、イメージセンサは、それに含まれる全画素の画素値が所定のしきい値より小さいラインを無効ラインとしてもよい。

【0024】

一実施形態において、イメージセンサは、無効ラインでない有効ラインについては、行番号と、値が第１値であるヘッダと、当該有効ラインに含まれる全画素の画素値と、を含むラインデータを伝送し、無効ラインについては、行番号と、値が第２値であるヘッダと、を含むラインデータを伝送してもよい。

【0025】

一実施形態において、画像処理装置は、受信したラインデータのヘッダの値が第２値であるとき、当該ラインの全画素値を０としてもよい。

【0026】

２． 一実施形態に係るゲーティングカメラは、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、プローブ光を照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御し、イメージセンサに、複数のレンジに対応する複数のスライス画像を発生させるカメラコントローラと、イメージセンサから複数のスライス画像を受け、注目画素を選択し、注目画素において物体を含むスライス画像を有効画像とし、有効画像以外のスライス画像の注目画素の画素値にもとづいてノイズレベルを検出し、複数のスライス画像それぞれの注目画素の画素値をノイズレベルにもとづいて補正する画像処理装置と、を備える。

【0027】

理想的なゲーティングカメラでは、ひとつの物体は、複数のスライス画像のうち１枚だけに写る。したがって、複数のスライス画像の同じ画素に注目すると、１枚のみ、物体からの反射に応じた画素値を有し、その他のスライス画像の画素値は、ノイズとみなすことができる。本実施形態によれば、ノイズレベルを測定するための撮影を行わずに、通常の撮影を行いながら、ノイズレベルを取得することができる。

【0028】

一実施形態において、ノイズレベルは、有効画像以外のスライス画像の注目画素の画素値の平均値であってもよい。

【0029】

一実施形態において、画像処理装置は、各画素について、あるスライス画像の注目画素の画素値が所定のしきい値を超えるとき、有効画像としてもよい。

【0030】

一実施形態において、画像処理装置は、各画素について、最も画素値が大きいスライス画像を、物体を含むスライス画像としてもよい。

【0031】

一実施形態に係るゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御し、イメージセンサに、複数のレンジに対応する前記複数のスライス画像を発生させるカメラコントローラと、イメージセンサから複数のスライス画像を受け、注目画素を選択し、全スライス画像の注目画素の画素値にもとづいてノイズレベルを検出し、複数のスライス画像の注目画素をノイズレベルにもとづいて補正する画像処理装置と、を備える。

【0032】

レンジの数が多い、言い換えるとスライス画像の枚数が多い撮影では、有効画像の影響が小さくなるため、全スライス画像の画素値をノイズとして扱うことで、ノイズレベルの検出処理を簡素化できる。

【0033】

一実施形態において、ノイズレベルは、全スライス画像の注目画素の画素値の平均値であってもよい。

【0034】

一実施形態に係るゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光タイミングを制御し、イメージセンサに、複数のレンジに対応する複数の画像データを生成させるカメラコントローラと、を備える。カメラコントローラは、プローブ光の減衰係数と相関を有する視界情報を撮影パラメータに反映させる。

【0035】

プローブ光の減衰係数に応じて、撮影パラメータを動的、適応的に制御することにより、視界の良否に応じた動作が可能となる。

【0036】

一実施形態において、カメラコントローラは、プローブ光の減衰係数が大きいほど、１枚のスライス画像を生成するための露光回数を増加させてもよい。プローブ光の減衰係数が大きい状況で、露光回数を増やすことで、物体からの反射／散乱光を多く積算することができ、スライス画像の画質を改善できる。

【0037】

一実施形態において、カメラコントローラは、レンジの番号と露光回数の関係を複数個、保持しており、視界情報に応じたひとつを選択してもよい。

【0038】

減衰係数が大きい場合には、遠距離の撮影を諦めることと引き換えに、奥行き方向の分解能を高めてもよい。

【0039】

一実施形態において、カメラコントローラは、プローブ光の減衰係数が大きいほど、測定対象とするレンジの個数を奥側から順に減らしてもよい。減衰係数が大きい場合には、遠距離の撮影を諦め、近距離を集中的にセンシングすることで、近いレンジのスライス画像のフレームレートを高めることができる。

【0040】

以下、好適な実施形態について、図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、開示および発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも開示および発明の本質的なものであるとは限らない。

【0041】

（実施形態１）
図１は、実施形態１に係るセンシングシステム１０のブロック図である。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪを検出する。

【0042】

センシングシステム１０は、主としてゲーティングカメラ２０を備える。ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、カメラコントローラ２６、画像処理装置２８を含む。ゲーティングカメラ２０による撮像は、視野を奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ_１～ＲＮＧ_Ｎに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。

【0043】

照明装置２２は、カメラコントローラ２６から与えられる発光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光や紫外光であってもよい。

【0044】

イメージセンサ２４は、複数の画素を含み、カメラコントローラ２６から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、複数の画素からなる生画像（ＲＡＷ画像）を生成する。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。ｉ番目のレンジＲＮＧ_ｉに関してイメージセンサ２４が生成するスライス画像ＩＭＧ_ｉは、必要に応じて生画像あるいは一次画像と称して、ゲーティングカメラ２０の最終的な出力であるスライス画像ＩＭＧｓ_ｉと区別する。

【0045】

カメラコントローラ２６は、照明装置２２によるプローブ光Ｌ１の照射タイミング（発光タイミング）と、イメージセンサ２４による露光のタイミングを制御する。カメラコントローラ２６は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。

【0046】

イメージセンサ２４と画像処理装置２８は、シリアルインタフェース３０を介して接続されている。ここでイメージセンサ２４において生成された生画像ＩＭＧ＿ＲＡＷ_ｉの全画素を、一次画像ＩＭＧとして画像処理装置２８に伝送すると、伝送時間が長くなり、センシング時間が長くなってしまう。

【0047】

そこで本実施形態では、イメージセンサ２４は、生画像ＩＭＧ＿ＲＡＷ_ｉから、無駄なラインを除去することにより得られる圧縮画像ＩＭＧ＿ＣＯＭＰ_ｉを一次画像ＩＭＧ_ｉとして画像処理装置２８に送信する。

【0048】

具体的にはイメージセンサ２４は、露光の結果得られた生画像ＩＭＧ＿ＲＡＷ_ｉを構成する複数のラインの中から、物標すなわち検出対象の被写体を含まない無効ラインを検出する。そして生画像ＩＭＧ＿ＲＡＷ_ｉから、無効ラインに関する画像情報を圧縮して、圧縮画像ＩＭＧ＿ＣＯＭＰ_ｉを生成する。

【0049】

画像処理装置２８は、イメージセンサ２４から圧縮画像ＩＭＧ＿ＣＯＭＰ_ｉを一次画像ＩＭＧ_ｉとして受信する。そして圧縮画像ＩＭＧ＿ＣＯＭＰ_ｉから、スライス画像ＩＭＧｓ_ｉを復元する。

【0050】

以上がゲーティングカメラ２０の構成である。続いてその動作を説明する。

【0051】

図２は、ゲーティングカメラ２０の基本動作を説明する図である。図２にはｉ番目のレンジＲＮＧ_ｉを興味レンジ（ＲＯＩ：Range Of Interest）としてセンシングするときの様子が示される。照明装置２２は、発光タイミング信号Ｓ１と同期して、時刻ｔ_０～ｔ_１の間の発光期間τ_１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧ_ｉの手前の境界までの距離をｄ_{ＭＩＮｉ、}レンジＲＮＧ_ｉの奥側の境界までの距離をｄ_ＭＡＸｉとする。

【0052】

ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＩＮｉは、
Ｔ_ＭＩＮｉ＝２×ｄ_ＭＩＮｉ／ｃ
である。ｃは光速である。

【0053】

同様に、ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＡＸｉは、
Ｔ_ＭＡＸｉ＝２×ｄ_ＭＡＸｉ／ｃ
である。

【0054】

レンジＲＮＧ_ｉに含まれる物体ＯＢＪのみを撮影したいとき、カメラコントローラ２６は、時刻ｔ_２＝ｔ_０＋Ｔ_ＭＩＮｉに露光を開始し、時刻ｔ_３＝ｔ_１＋Ｔ_ＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回の露光動作である。

【0055】

ｉ番目のレンジＲＮＧ_ｉを撮影する際に、発光および露光を複数セット、行ってもよい。この場合、カメラコントローラ２６は、所定の周期τ_２で、上述の露光動作を複数回にわたり繰り返せばよい。

【0056】

図３（ａ）、（ｂ）は、ゲーティングカメラ２０により得られるスライス画像を説明する図である。図３（ａ）の例では、レンジＲＮＧ_２に物体（歩行者）ＯＢＪ_２が存在し、レンジＲＮＧ_３に物体（車両）ＯＢＪ_３が存在している。図３（ｂ）には、図３（ａ）の状況で得られる複数のスライス画像ＩＭＧ_１～ＩＭＧ_３が示される。スライス画像ＩＭＧ_１を撮影するとき、イメージセンサはレンジＲＮＧ_１からの反射光のみにより露光されるため、スライス画像ＩＭＧ_１にはいかなる物体像も写らない。

【0057】

スライス画像ＩＭＧ_２を撮影するとき、イメージセンサはレンジＲＮＧ_２からの反射光のみにより露光されるため、スライス画像ＩＭＧ_２には、物体像ＯＢＪ_２のみが写る。同様にスライス画像ＩＭＧ_３を撮影するとき、イメージセンサはレンジＲＮＧ_３からの反射光のみにより露光されるため、スライス画像ＩＭＧ_３には、物体像ＯＢＪ_３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。

【0058】

続いて、図４および図５（ａ）～（ｃ）を参照して、図１のゲーティングカメラ２０における画像圧縮および伝送を説明する。図４は、ある走行シーンを示す図である。ＲＮＧ_ｉがセンシング対象のレンジ（興味レンジ）である。図５（ａ）～（ｃ）は、図４の走行シーンにおける信号処理を示す図である。図５（ａ）には、図４の走行シーンにおいて得られる生画像ＩＭＧ＿ＲＡＷ_ｉが示される。この生画像ＩＭＧ＿ＲＡＷ_ｉには、レンジＲＮＧ_ｉに含まれる物標が写っている。この例では、物標は生画像ＩＭＧ＿ＲＡＷ_ｉの中央の範囲Ｙ_Ｍに存在している。上方の範囲Ｙ_Ｕは空であり、いかなる物標も含まれない。

【0059】

またこの例では、生画像ＩＭＧ＿ＲＡＷ_ｉの下側の範囲Ｙ_Ｌは、ひとつ前のレンジＲＮＧ_ｉ－１の地面に相当する部分であり、この範囲Ｙ_Ｌにも、物標は含まれない。

【0060】

イメージセンサ２４は、範囲Ｙ_ＵおよびＹ_Ｌに含まれるラインを無効ラインと判定する。たとえばイメージセンサ２４は、生画像ＩＭＧ＿ＲＡＷ_ｉのラインを順にスキャンしていき、各ラインについて、全画素が所定のしきい値より小さいとき、当該ラインを無効ラインとする。

【0061】

無効ラインと有効ラインの判定は、センシング周期ごとに行ってもよい。１回のセンシング周期は、複数のレンジＲＮＧ_１～ＲＮＧ_Ｎの撮影全体の周期を意味する。

【0062】

あるいは複数回のセンシング周期に１回の割合で、無効ラインと有効ラインの判定を行ってもよい。この場合、１回、無効ラインと判定されたラインについては、次の判定結果が得られるまでは無効ラインとして扱われる。

【0063】

図５（ｂ）は、図５（ａ）の生画像ＩＭＧ＿ＲＡＷ_ｉから得られる圧縮画像ＩＭＧ＿ＣＯＭＰ_ｉを示す。圧縮画像ＩＭＧ＿ＣＯＭＰ_ｉは、生画像ＩＭＧ＿ＲＡＷ_ｉの範囲Ｙ_ＵおよびＹ_Ｌに含まれるラインに関して画像情報を含まないように圧縮したものである。

【0064】

図５（ｃ）は、図５（ｂ）の圧縮画像ＩＭＧ＿ＣＯＭＰ_ｉを復元して得られる最終的なスライス画像ＩＭＧｓ_ｉを示す。圧縮画像ＩＭＧ＿ＣＯＭＰ_ｉを受信した画像処理装置２８は、画像情報を含まない無効ラインについては、所定値（たとえば値０）の画素で置き換えることにより、スライス画像ＩＭＧｓ_ｉを再生する。

【0065】

図６は、ゲーティングカメラ２０の動作を示すフローチャートである。はじめに変数ｉが１に初期化される（Ｓ１００）。変数ｉは、興味レンジを示す変数である。たとえばｉ＝１は、１番目のレンジＲＮＧ_１が測定対象であることを示す。

【0066】

続いて変数ｉに関して、ループＳ１０２が実行される。はじめに、ｉ番目のレンジＲＮＧ_ｉをターゲットとして、照明装置２２による発光およびイメージセンサ２４による露光が行われ、生画像ＩＭＧ＿ＲＡＷ_ｉを生成する（Ｓ１０４）。

【0067】

続いて生画像ＩＭＧ＿ＲＡＷ_ｉに関して、それに含まれる各ラインの有効、無効が判定される。はじめに変数ｊが１に初期化される（Ｓ１０６）。変数ｊは、生画像ＩＭＧ＿ＲＡＷ_ｉの判定対象の行番号を示す。そして変数ｊに関してループＳ１０８が実行される。

【0068】

生画像ＩＭＧ＿ＲＡＷ_ｉのｊ番目のラインの全画素の画素値がしきい値より小さいか否かを判定する（Ｓ１１０）。そして、全画素値がしきい値より小さい場合（Ｓ１１０のＹ）、ｊ番目のラインは無効ラインと判定される（Ｓ１１２）。そうでない場合（Ｓ１１０のＮ）、ｊ番目のラインは有効ラインと判定される。そして、変数ｊがインクリメントされる。変数ｊが、生画像ＩＭＧ＿ＲＡＷ_ｉのライン数Ｙ_ＭＡＸ（垂直方向解像度）より小さい間、ループＳ１０８が繰り返される。変数ｊが、生画像ＩＭＧ＿ＲＡＷ_ｉのライン数Ｙ_ＭＡＸを超えると、ループＳ１０８を抜ける。

【0069】

ループＳ１０８を抜けると、変数ｉがインクリメントされ（Ｓ１１８）、次のレンジが測定対象となる。変数ｉが、レンジの最大数Ｎより小さい間、ループＳ０２が繰り返される。変数ｉが最大数Ｎを超え、すべてのレンジＲＮＧ_１～ＲＮＧ_Ｎの撮影が終了すると、処理を終了する。

【0070】

続いて画像の圧縮方法について説明する。図７（ａ）は、圧縮画像ＩＭＧ＿ＣＯＭＰを示す図であり、図７（ｂ）は、ラインデータを示す図である。圧縮画像ＩＭＧ＿ＣＯＭＰは、複数のラインデータＬＤ_１～ＬＤ_ＶＭＡＸを含む。ラインデータＬＤは、それが有効ラインであるか無効ラインであるかによって、異なる情報を含む。この例では、１行目と２行目が無効ライン、残りが有効ラインであるとする。有効ラインのラインデータ５０は、行番号５２、ヘッダ５４およびそのラインの全画素の画素値５６を含む。無効ラインのラインデータ５０’は、行番号５２、ヘッダ５４を含み、画素値５６は含まない。ヘッダ５４は、有効ラインか無効ラインかを示す識別子を含んでおり、たとえば有効ラインのヘッダ５４の値は１、無効ラインのヘッダ５４は値０を格納する。

【0071】

図７の圧縮画像ＩＭＧ＿ＣＯＭＰでは、無効ラインについては、画像情報が完全に除去される。したがって、無効ラインの伝送に要する時間は、行番号５２とヘッダ５４の伝送時間となり、大幅に短縮することができる。

【0072】

図７の圧縮画像ＩＭＧ＿ＣＯＭＰは、画像処理装置２８において以下のように復元することができる。画像処理装置２８は、ラインデータ５０のヘッダ５４を参照する。そして値が１であるとき、それに続く画素値５６を、スライス画像ＩＭＧの対応するラインの画素値とする。ヘッダ５４の値が０であるとき、スライス画像ＩＭＧの対応するラインの画素値に０で埋める。

【0073】

以上、本発明について、実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。

【0074】

（変形例１．１）
圧縮画像ＩＭＧ＿ＣＯＭＰは、有効ラインのラインデータのみを含んでもよい。この場合、有効ラインは、行番号とそれに続く全画素の画素値を含む。画像処理装置２８は、受信したラインデータに含まれない行番号については０で埋める。

【0075】

（変形例１．２）
これまでの例では、無効ラインについては画素情報を伝送しないこととしたが、画像情報を伝送してもよい。たとえば、無効ラインについては、画素を間引いて伝送してもよい。水平方向に隣接するＭ画素に１画素の割合で伝送することとすれば、伝送時間を１／Ｍ倍に短縮できる。画像処理装置２８は、隣接するＭ画素については、同一画素値としてスライス画像ＩＭＧを復元すればよい。

【0076】

（変形例１．３）
実施形態１では、ラインごとに、物標を含むか否かを判定することとしたが、その限りでなく、レンジ毎に、生画像ＩＭＧ＿ＲＡＷの所定のラインを予め無効ラインとして定めておいてもよい。

【0077】

図８は、変形例１．３に係るゲーティングカメラの処理を説明する図である。図中、一点鎖線８０は、想定される物標の最も高い位置を示す。レンジにかかわらず、イメージセンサ２４の垂直方向の画角θが一定であるとする。近いレンジＲＮＧ_１，ＲＮＧ_２で撮影する場合には、一点鎖線８０より下の範囲のみが撮影される。一方、遠いレンジＲＮＧ_３については、この一点鎖線より高い範囲８２が撮影範囲（イメージセンサの画角θ）に含まれるが、この範囲８２にセンシング対象の物標が含まれる可能性は低いと言える。そこで、生画像ＩＭＧ＿ＲＡＷ_３に関して、この一点鎖線８０に対応するラインより上側の範囲８２については、無効ラインとして定めることができる。

【0078】

（実施形態２．１）
図９は、実施形態１に係るセンシングシステム１０のブロック図である。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪを検出する。

【0079】

センシングシステム１０は、主としてゲーティングカメラ２０を備える。ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、カメラコントローラ２６、画像処理装置２８を含む。ゲーティングカメラ２０による撮像は、視野を奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ_１～ＲＮＧ_Ｎに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。

【0080】

照明装置２２は、カメラコントローラ２６から与えられる発光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光や紫外光であってもよい。本実施形態に係るゲーティングカメラ２０は、夜間のみでなく日中もセンシング可能であり、したがって０．９μｍより長い波長が選択される。

【0081】

イメージセンサ２４は、複数の画素を含み、カメラコントローラ２６から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、複数の画素からなるスライス画像ＩＭＧを生成する。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。ｉ番目のレンジＲＮＧ_ｉに関してイメージセンサ２４が生成するスライス画像ＩＭＧは、必要に応じて生画像あるいは一次画像と称して、ゲーティングカメラ２０の最終的な出力であるスライス画像ＩＭＧｓと区別する。

【0082】

カメラコントローラ２６は、照明装置２２によるプローブ光Ｌ１の照射タイミング（発光タイミング）と、イメージセンサ２４による露光のタイミングを制御し、イメージセンサ２４に、複数のレンジＲＮＧ_１～ＲＮＧ_Ｎに対応する複数のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎを発生させる。カメラコントローラ２６は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。

【0083】

イメージセンサ２４と画像処理装置２８は、シリアルインタフェース３０を介して接続されており、複数のレンジＲＮＧ_１～ＲＮＧ_Ｎにおいて得られた複数のスライス画像（一次画像）ＩＭＧ_１～ＩＭＧ_Ｎは画像処理装置２８に伝送される。一次画像ＩＭＧ_ｉは、生画像ＩＭＧ＿ＲＡＷ_ｉそのものであってもよいし、生画像ＩＭＧ＿ＲＡＷ_ｉを加工した画像であってもよい。

【0084】

以上がゲーティングカメラ２０の基本構成である。続いてその動作を説明する。

【0085】

図１０は、ゲーティングカメラ２０の基本動作を説明する図である。図１０にはｉ番目のレンジＲＮＧ_ｉを興味レンジ（ＲＯＩ：Range Of Interest）としてセンシングするときの様子が示される。照明装置２２は、発光タイミング信号Ｓ１と同期して、時刻ｔ_０～ｔ_１の間の発光期間τ_１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧ_ｉの手前の境界までの距離をｄ_{ＭＩＮｉ、}レンジＲＮＧ_ｉの奥側の境界までの距離をｄ_ＭＡＸｉとする。

【0086】

ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＩＮｉは、
Ｔ_ＭＩＮｉ＝２×ｄ_ＭＩＮｉ／ｃ
である。ｃは光速である。

【0087】

同様に、ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＡＸｉは、
Ｔ_ＭＡＸｉ＝２×ｄ_ＭＡＸｉ／ｃ
である。

【0088】

レンジＲＮＧ_ｉに含まれる物体ＯＢＪのみを撮影したいとき、カメラコントローラ２６は、時刻ｔ_２＝ｔ_０＋Ｔ_ＭＩＮｉに露光を開始し、時刻ｔ_３＝ｔ_１＋Ｔ_ＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回の露光動作である。

【0089】

ｉ番目のレンジＲＮＧ_ｉを撮影する際に、発光および露光を複数セット、行ってもよい。この場合、カメラコントローラ２６は、所定の周期τ_２で、上述の露光動作を複数回にわたり繰り返せばよい。

【0090】

図１１（ａ）、（ｂ）は、ゲーティングカメラ２０により得られるスライス画像を説明する図である。図１１（ａ）の例では、レンジＲＮＧ_２に物体（歩行者）ＯＢＪ_２が存在し、レンジＲＮＧ_３に物体（車両）ＯＢＪ_３が存在している。図１１（ｂ）には、図１１（ａ）の状況で得られる複数のスライス画像ＩＭＧ_１～ＩＭＧ_３が示される。スライス画像ＩＭＧ_１を撮影するとき、イメージセンサはレンジＲＮＧ_１からの反射光のみにより露光されるため、スライス画像ＩＭＧ_１にはいかなる物体像も写らない。

【0091】

スライス画像ＩＭＧ_２を撮影するとき、イメージセンサはレンジＲＮＧ_２からの反射光のみにより露光されるため、スライス画像ＩＭＧ_２には、物体像ＯＢＪ_２のみが写る。同様にスライス画像ＩＭＧ_３を撮影するとき、イメージセンサはレンジＲＮＧ_３からの反射光のみにより露光されるため、スライス画像ＩＭＧ_３には、物体像ＯＢＪ_３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。

【0092】

図９に戻る。上述のように、ゲーティングカメラ２０は日中もセンシングを行うことから、イメージセンサ２４には、太陽光が入射する。太陽光は、ゲーティングカメラ２０の使用波長にスペクトル成分を含むため、バックグラウンドノイズとなり、画像のＳ／Ｎ比を低下させる。そこで画像処理装置２８は、複数のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎからバックグラウンドノイズを除去する機能を備える。以下、ノイズ除去機能について説明する。

【0093】

画像処理装置２８は、イメージセンサ２４から複数のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎを受信する。ｉ番目（１≦ｉ≦Ｎ）のスライス画像ＩＭＧ_ｉのｊ番目の画素を、ＩＭＧ_ｉ（ｊ）と表記する。画像処理装置２８は、複数のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎについて、１画素ずつ注目画素として選択し、注目画素ごとにノイズレベルを検出する。

【0094】

画像処理装置２８は、複数のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎのｊ番目の画素を注目画素とする。そして複数のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎのうち、注目画素の位置に物体を含むスライス画像を、有効画像とする。たとえば画像処理装置２８は、複数の画素ＩＭＧ_１（ｊ）～ＩＭＧ_Ｎ（ｊ）のうち、最大の画素値を含むスライス画像を、有効画像とする。ＩＭＧ_Ｍ（ｊ）の値が最大であるとき、Ｍ番目のスライス画像ＩＭＧ_Ｍが有効画像とされる。

【0095】

そして、画像処理装置２８は、有効画像ＩＭＧ_Ｍ以外の複数のスライス画像（非有効画像という）の画素ＩＭＧ_１（ｊ）～ＩＭＧ_Ｍ－１（ｊ），ＩＭＧ_Ｍ＋１（ｊ）～ＩＭＧ_Ｎ（ｊ）の値にもとづいてノイズレベルＮ（ｊ）を検出する。そして複数のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎの画素ＩＭＧ_１（ｊ）～ＩＭＧ_Ｎ（ｊ）の画素値を、ノイズレベルＮ（ｊ）にもとづいて補正する。画像処理装置２８は、補正後のスライス画像を、最終的なスライス画像ＩＭＧｓとして出力する。

【0096】

ここでは説明の容易化のため、すべてのレンジＲＮＧ_１～ＲＮＧ_Ｎの奥行きが等しい、言い換えると、すべてのレンジにおける露光時間が等しいものと仮定する。この場合、ノイズレベルＮ（ｊ）は、非有効画像ＩＭＧ_ｋ（ｋ＝１～Ｎ、ただしｋ≠Ｍ）の注目画素の画素値の単純平均を採ればよく、ノイズレベルＮ（ｊ）は式（１）で表される。
Ｎ（ｊ）＝Σ_ｋ ^ｋ≠ＭＩＭＧ_ｋ（ｊ）／（Ｎ－１） …（１）

【0097】

また補正は、スライス画像ＩＭＧ_ｋ（ｊ）からノイズレベルＮ（ｊ）を減算すればよい。補正後のスライス画像ＩＭＧ_ｋ’（ｊ）の画素値は、式（２）で表される。
ＩＭＧ_ｋ’（ｊ）＝ＩＭＧ_ｋ（ｊ）－Ｎ（ｊ） …（２）
画像処理装置２８は、全画素について同じ処理を繰り返す。ただし、補正後の画素値は０を下回らないよう処理される。

【0098】

図１２は、ノイズ除去のフローチャートである。ｉはスライス画像の番号を示す変数であり、ｊは注目画素の位置を示す変数である。

【0099】

はじめにｊが初期化される（Ｓ１００）。そして画素ごとにループＳ１０２を繰り返す。

【0100】

複数のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎそれぞれのｊ番目の注目画素ＩＭＧ_１（ｊ）～ＩＭＧ_Ｎ（ｊ）を参照し、それらの値にもとづいて、有効画像ＩＭＧ_Ｍを検出する（Ｓ１０４）。そして、有効画像ＩＭＧ_Ｍ以外の画像ＩＭＧ_１～ＩＭＧ_Ｍ－１，ＩＭＧ_Ｍ＋１～ＩＭＧ_Ｎのｊ番目の画素ＩＭＧ_１（ｊ）～ＩＭＧ_Ｍ－１（ｊ），ＩＭＧ_Ｍ＋１（ｊ）～ＩＭＧ_Ｎ（ｊ）にもとづいて、ノイズレベルＮ（ｊ）を算出する（Ｓ１０６）。

【0101】

続いて、変数ｉが初期化され（Ｓ１０８）、ループＳ１１０が実行される。具体的には、ｉ番目のスライス画像ＩＭＧ_ｉの対応する画素ＩＭＧ_ｉ（ｊ）からノイズレベルＮ（ｊ）が減算される（Ｓ１１２）。そして、変数ｉがインクリメントされる（Ｓ１１４）。ｉ≦Ｎであれば、処理Ｓ１１２に戻り、ｉ＞Ｎであれば、ループＳ１１０を抜ける。

【0102】

続いて変数ｊがインクリメントされる（Ｓ１１６）。ｊ≦Ｘ×Ｙであれば、処理Ｓ１０２に戻り、次の画素について同様の処理を繰り返す。ｊ＞Ｘ×Ｙであれば、ループＳ１０２を抜け、処理を終了する。Ｘ×Ｙは、スライス画像の全画素数である。

【0103】

図１３は、ノイズ除去を説明する図である。図１３には、１回の撮影で得られるＮ枚のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎが示され、各スライス画像は、Ｘ×Ｙ画素を含み、ｊ番目の注目画素にハッチングを付している。

【0104】

図１４（ａ）、（ｂ）は、Ｎ枚のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎの注目画素の補正前および補正後の画素値を示す図である。ここではＮ＝６であり、Ｍ＝４が有効画像である。

【0105】

理想的なゲーティングカメラでは、ひとつの物体は、複数のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎのうち１枚だけに写る。したがって、複数のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎの同じ画素に注目すると、１枚のみ（ここではＭ＝４枚目のスライス画像ＩＭＧ_４）、物体からの反射に応じた大きな画素値を有し、その他の非有効画像ＩＭＧ_１，ＩＭＧ_２，ＩＭＧ_３，ＩＭＧ_５，ＩＭＧ_６の画素値は、バックグラウンドノイズとみなすことができる。したがって、非有効画像ＩＭＧ_１，ＩＭＧ_２，ＩＭＧ_３，ＩＭＧ_５，ＩＭＧ_６の注目画素ＩＭＧ_１（ｊ），ＩＭＧ_２（ｊ），ＩＭＧ_３（ｊ），ＩＭＧ_５（ｊ），ＩＭＧ_６（ｊ）の画素値を処理することにより、ノイズレベルＮ（ｊ）を取得できる。

【0106】

そして、各スライス画像ＩＭＧ_１～ＩＭＧ_６の注目画素の画素値から、ノイズレベルＮ（ｊ）を減ずることにより、補正後の画素値を得ることができる。

【0107】

以上がゲーティングカメラ２０におけるノイズ除去である。本実施形態に係るゲーティングカメラ２０の利点は、比較技術との対比によって明確となる。

【0108】

比較技術では、Ｎ枚のスライス画像の撮影とは別に、照明装置２２を発光させずに、イメージセンサ２４において露光を行い、バックグラウンドノイズを撮影する。比較技術では、１回の撮影サイクルあたり、Ｎ＋１回の撮影が必要となり、撮影周期が長くなる。

【0109】

これに対して本実施形態によれば、ノイズレベルを測定するための撮影を行わずに、通常のＮ回の撮影と並行して、ノイズレベルを取得することができ、したがって、撮影周期が長くなるのを防止できる。

【0110】

（実施形態２．２）
実施形態２．１では、注目画素ごとに、複数のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎから有効画像を検出し、それ以外の非有効画像の注目画素の画素値にもとづいてノイズレベルを検出した。実施形態２．２では、有効画像の検出は行わずに、ノイズレベルを検出する。

【0111】

実施形態２．２に係るゲーティングカメラ２０の構成は、図９のブロック図と同様であり、画像処理装置２８の処理が、実施形態２．１と異なっている。以下、実施形態２．２におけるノイズ除去処理を説明する。

【0112】

画像処理装置２８は、全スライス画像ＩＭＧ_１～ＩＭＧ_Ｎの注目画素の画素値にもとづいてノイズレベルＮ（ｊ）を検出する。そして複数のスライス画像それぞれの注目画素の画素値を、ノイズレベルＮ（ｊ）にもとづいて補正する。

【0113】

すべてのレンジの露光時間が等しい場合、ノイズレベルＮ（ｊ）は式（３）で算出してもよい。
Ｎ（ｊ）＝Σ_ｋ ^{ｋ＝１：Ｎ}ＩＭＧ_ｋ（ｊ）／Ｎ …（３）

【0114】

また補正は、スライス画像ＩＭＧ_ｋ（ｊ）からノイズレベルＮ（ｊ）を減算すればよい。補正後のスライス画像ＩＭＧ_ｋ’（ｊ）の画素値は、式（４）で表される。これは式（２）と同一である。
ＩＭＧ_ｋ’（ｊ）＝ＩＭＧ_ｋ（ｊ）－Ｎ（ｊ） …（４）

【0115】

図１５（ａ）、（ｂ）は、実施形態２．２に係る補正処理を説明する図である。図１５（ａ）は、Ｎ枚のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎの注目画素の補正前の画素値を、図１５（ｂ）は、補正後の画素値を示す図である。ここではＮ＝８であるとする。

【0116】

以上が実施形態２．２に係る補正処理である。実施形態２．２の補正処理によれば、実施形態２．１と同様に、ノイズレベルを検出するためだけの露光が不要であるため、撮影周期を短くできる。

【0117】

また実施形態２．２では、有効画像を検出する必要がないため、実施形態２．１に比べて、画像処理装置２８の演算負荷を減らすことができる。一方で、実施形態２．２では、物体の反射光もノイズ成分として扱っているため、実施形態２．１に比べると、ノイズレベルの検出精度は劣ることとなるが、レンジの数Ｎが大きい場合には、必要十分な精度でノイズレベルを検出できる。

【0118】

実施形態２．１，２．２に関連する変形例を説明する。

【0119】

（変形例２．１）
実施形態２．１に関する変形例２．１を説明する。上の説明では、注目画素において、最大値を有するスライス画像を有効画像としたが、その限りでない。たとえば所定のしきい値を定めておき、注目画素の画素値がしきい値を超えるスライス画像を、有効画像として扱ってもよい。この場合、有効画像は複数、存在しても構わない。実施形態２．１で説明した手法は、Ｎ枚のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎの撮影が完了しないと、有効画像を決定できないが、変形例２．１は、Ｎ枚のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎの撮影完了を待たずに、ノイズレベルの計算処理を実行できるという利点がある。

【0120】

（変形例２．２）
実施形態２．１では、注目画素のノイズレベルを算出する際に、単純平均を用いたが、算出手法はそれに限定されない。単純平均は、すべてのレンジの奥行き方向の長さが等しい場合、言い換えると露光時間が等しい場合には有効であるが、レンジごとに露光時間が異なる場合には、露光時間に応じた係数で重み付けした加重平均値を取ればよい。

【0121】

ｉ番目のレンジにおける露光時間をＴ_ｊとする。そして、実施形態２．１でのノイズレベルは、式（５）にもとづいて算出してもよい。このノイズレベルは単位露光時間のノイズ量を表す。
Ｎ（ｊ）＝｛Σ_ｋ ^ｋ≠ＭＩＭＧ_ｋ（ｊ）／Ｔ_ｋ｝／（Ｎ－１） …（５）

【0122】

また、補正処理は式（６）にもとづいて行ってもよい。
ＩＭＧ_ｋ’（ｊ）＝ＩＭＧ_ｋ（ｊ）－Ｎ（ｊ）・Ｔ_ｋ …（６）

【0123】

（変形例２．３）
実施形態２．２において、露光時間Ｔ_ｉがレンジ毎に異なる場合、ノイズレベルＮ（ｊ）は式（７）にもとづいて算出してもよい。
Ｎ（ｊ）＝｛Σ_ｋ ^{ｋ＝１：Ｎ}ＩＭＧ_ｋ（ｊ）／Ｔ_ｋ｝／Ｎ …（７）

【0124】

また、補正処理は式（８）にもとづいて行ってもよい。
ＩＭＧ_ｋ’（ｊ）＝ＩＭＧ_ｋ（ｊ）－Ｎ（ｊ）・Ｔ_ｋ …（８）

【0125】

（変形例２．４）
変形例２．２や２．３では、有効画像ＩＭＧ_Ｍを先に検出した後に、重み付けによる補正処理を行っているが、その限りでない。先に、スライス画像ＩＭＧ_１～ＩＭＧ_Ｎの全画素を、式（９）のように、露光時間Ｔ_ｉに応じた係数Ａ_ｉ（∝Ｔ_ｉ ^－１）で補正してもよい。
ＩＭＧ_ｉ”＝Ａ_ｉ×ＩＭＧ_ｉ …（９）

【0126】

実施形態２．１の場合、補正後のスライス画像ＩＭＧ_１”～ＩＭＧ_Ｎ”について、注目画素ごとに有効画像を検出し、式（１’）にもとづいてノイズレベルを算出してもよい。
Ｎ（ｊ）＝Σ_ｋ ^ｋ≠ＭＩＭＧ_ｋ”（ｊ）／（Ｎ－１） …（１’）
実施形態２．２の場合、式（３’）にもとづいてノイズレベルを算出してもよい。
Ｎ（ｊ）＝Σ_ｋ ^{ｋ＝１：Ｎ}ＩＭＧ_ｋ”（ｊ）／Ｎ …（３’）

【0127】

そして、式（１０）にもとづいて、補正処理を行ってもよい。
ＩＭＧ_ｋ’（ｊ）＝ＩＭＧ_ｋ（ｊ）”－Ｎ（ｊ） …（１０）

【0128】

（変形例２．５）
理想的には、あるレンジに含まれる物体は、それに対応するスライス画像にのみ写るが、現実的には、そのレンジと隣接するレンジのスライス画像にも物体が写り込む場合がある。そこで、注目画素において、最大の画素値を有するスライス画像に加えて、それと隣接する１枚（あるいは２枚）のスライス画像を、有効画像としてもよい。この場合、それら以外の（Ｎ－２）枚のスライス画像（もしくはＮ－３枚のスライス画像）が、非有効画像として処理される。

【0129】

（変形例２．６）
実施形態２．１では、有効画像以外のＮ－１枚の非有効画像の有効画素の画素値にもとづいてノイズレベルを算出したがその限りでない。たとえば、Ｎ－１枚の非有効画像の有効画素の画素値のうち、最大値と最小値を除外し、残りのＮ－３個の画素値にもとづいて、ノイズレベルを計算してもよい。

【0130】

実施形態２．２に関しても同様であり、全スライス画像の有効画素の画素値のうち、最大値と最小値を除外し、残りの（Ｎ－２）個の画素値にもとづいて、ノイズレベルを計算してもよい。

【0131】

（変形例２．７）
さらに言えば、ノイズレベルの算出方法は、平均処理に限定されない。たとえば実施形態２．１では、非有効画像の注目画素の画素値の中央値をノイズレベルとしてもよい。実施形態２．２では、全スライス画像の注目画素の画素値の中央値をノイズレベルとしてもよい。

【0132】

（変形例２．８）
上述の説明では、全画素を順に注目画素として、ノイズレベルを検出したがその限りでなく、スライス画像を複数のエリアに分割し、エリアごとに１個の注目画素を選択して、ノイズレベルを検出し、同じエリア内の画素については、共通のノイズレベルを用いて補正してもよい。

【0133】

（変形例２．９）
上述したノイズ除去処理は、太陽光の影響が無視できない状況のみで行い、太陽光の影響がない夜間や、曇天時には、ノイズ除去処理を省略してもよい。

【0134】

（変形例２．１０）
上の説明では、日中および夜間の利用を想定したゲーティングカメラ２０について説明したが、本発明に係るノイズ除去処理の適用はそれに限定されず、夜間のみ使用されるゲーティングカメラ２０にも適用可能である。

【0135】

（実施形態３）
図１６は、実施形態３に係るセンシングシステム１０のブロック図である。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪを検出する。

【0136】

センシングシステム１０は、主としてゲーティングカメラ２０を備える。ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、カメラコントローラ２６、画像処理装置２８を含む。ゲーティングカメラ２０による撮像は、視野を奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ_１～ＲＮＧ_Ｎに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。

【0137】

照明装置（投光器）２２は、カメラコントローラ２６から与えられる発光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。照明装置２２は、たとえばレーザダイオード（ＬＤ）やＬＥＤを用いることができる。

【0138】

イメージセンサ２４は、カメラコントローラ２６から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、スライス画像ＩＭＧを生成可能に構成される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。

【0139】

カメラコントローラ２６は、レンジＲＮＧごとに、発光タイミング信号Ｓ１と露光タイミング信号Ｓ２を変化させて、照明装置２２による発光と、イメージセンサ２４の露光の時間差を変化させる。発光タイミング信号Ｓ１は、発光開始のタイミングと発光時間を規定する。露光タイミング信号Ｓ２は、露光開始のタイミング（発光との時間差）と、露光時間を規定する。

【0140】

ゲーティングカメラ２０は、複数のレンジＲＮＧ_１～ＲＮＧ_Ｎに対応する複数のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎを生成する。ｉ番目のスライス画像ＩＭＧ_ｉには、対応するレンジＲＮＧ_ｉに含まれる物体のみが写ることとなる。

【0141】

画像処理装置２８は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコン、ＧＰＵ（Graphics Processing Unit）などのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。画像処理装置２８はハードウェアのみで構成してもよい。画像処理装置２８は、イメージセンサ２４の生成する画像を処理し、最終的なスライス画像を出力する。なお、イメージセンサ２４の出力をそのままスライス画像として用いる場合、画像処理装置２８は省略することができる。

【0142】

図１７は、ゲーティングカメラ２０の動作を説明する図である。図１７にはｉ番目のレンジＲＮＧ_ｉを測定するときの様子が示される。照明装置２２は、発光タイミング信号Ｓ１と同期して、時刻ｔ_０～ｔ_１の間の発光期間τ_１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧ_ｉの手前の境界までの距離をｄ_{ＭＩＮｉ、}レンジＲＮＧ_ｉの奥側の境界までの距離をｄ_ＭＡＸｉとする。

【0143】

ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＩＮｉは、
Ｔ_ＭＩＮｉ＝２×ｄ_ＭＩＮｉ／ｃ
である。ｃは光速である。

【0144】

同様に、ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＡＸｉは、
Ｔ_ＭＡＸｉ＝２×ｄ_ＭＡＸｉ／ｃ
である。

【0145】

レンジＲＮＧ_ｉに含まれる物体ＯＢＪのみを撮影したいとき、カメラコントローラ２６は、時刻ｔ_２＝ｔ_０＋Ｔ_ＭＩＮｉに露光を開始し、時刻ｔ_３＝ｔ_１＋Ｔ_ＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回の露光動作である。

【0146】

ｉ番目のレンジＲＮＧ_ｉを撮影する際に、複数回の露光を行ってもよい。この場合、カメラコントローラ２６は、所定の周期τ_２で、上述の照射と露光の動作のセットを複数回にわたり繰り返せばよい。イメージセンサ２４は、複数回の露光によって積算されたスライス画像を出力する。

【0147】

本実施形態において、露出（スライス画像内の物体像の輝度値）がレンジごとにばらつかないように、ゲーティングカメラ２０は、レンジ毎に、シャッタースピード（露光時間）、露光回数、感度、プローブ光の照射強度など（撮影パラメータ）が最適化されている。

【0148】

図１８（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。図１８（ａ）の例では、レンジＲＮＧ_２に物体（歩行者）ＯＢＪ_２が存在し、レンジＲＮＧ_３に物体（車両）ＯＢＪ_３が存在している。図１８（ｂ）には、図１８（ａ）の状況で得られる複数のスライス画像ＩＭＧ_１～ＩＭＧ_３が示される。スライス画像ＩＭＧ_１を撮影するとき、イメージセンサはレンジＲＮＧ_１からの反射光のみにより露光されるため、スライス画像ＩＭＧ_１にはいかなる物体像も写らない。

【0149】

スライス画像ＩＭＧ_２を撮影するとき、イメージセンサはレンジＲＮＧ_２からの反射光のみにより露光されるため、スライス画像ＩＭＧ_２には、物体像ＯＢＪ_２のみが写る。同様にスライス画像ＩＭＧ_３を撮影するとき、イメージセンサはレンジＲＮＧ_３からの反射光のみにより露光されるため、スライス画像ＩＭＧ_３には、物体像ＯＢＪ_３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。

【0150】

図１６に戻り、ゲーティングカメラの視界が悪い状況における処理を説明する。なお、ゲーティングカメラは、赤外光などをプローブ光として用いることから、「ゲーティングカメラの視界」は、必ずしも人間の目で見たときの視界の良否と一致するものではない。視界は、霧や雨などの天候の影響で変化し、あるいは砂塵などの要因によっても変化する。

【0151】

本実施形態において、カメラコントローラ２６には、プローブ光の減衰係数σ[ｍ^－１]と相関を有する視界情報ＩＮＦＯ＿ＦＯＶが入力される。減衰係数σ、伝搬距離ｒ、透過率Ｔの間には、式（１）が成り立つ。
Ｔ＝ｅｘｐ（－σｒ） …（１）

【0152】

視界情報ＩＮＦＯ＿ＦＯＶの生成方法は特に限定されない。たとえば画像処理装置２８における画像処理にもとづいて、減衰係数σあるいは透過率Ｔを算出して、それを視界情報ＩＮＦＯ＿ＦＯＶとしてもよい。

【0153】

ゲーティングカメラ２０とは別に設けられたセンサによって、減衰係数σや透過率を測定あるいは推定してもよい。あるいは、ユーザが、視界の良否を判断して、ゲーティングカメラ２０に対して視界情報ＩＮＦＯ＿ＦＯＶを与えてもよい。可視光に関しては、視界の良否の指標として、視程が知られており、それに対応する情報を視界情報ＩＮＦＯ＿ＦＯＶとすることができる。

【0154】

あるいは、減衰係数σは、雨量や霧の濃さに依存するから、雨量や霧の有無（あるいは濃さ）をセンサによって検出し、あるいはユーザから受け付けるようにし、それを視界情報ＩＮＦＯ＿ＦＯＶとして用いてもよい。

【0155】

カメラコントローラ２６は、視界情報ＩＮＦＯ＿ＦＯＶを、撮影パラメータに反映させる。以下、撮影パラメータの制御について、いくつかの例を説明する。

【0156】

（第１制御方法）
カメラコントローラ２６は、視界情報ＩＮＦＯ＿ＦＯＶにもとづいて、１枚のスライス画像を生成するための露光回数を変化させる。具体的には、減衰係数σが大きいほど、露光回数増加させる。

【0157】

図１９は、図１６のゲーティングカメラ２０における第１制御方法を説明する図である。横軸は、レンジの位置（レンジ番号）すなわち距離を、縦軸は、露光回数を示す。物体までの距離が遠いほど、式（１）の距離ｒが大きくなるから透過率Ｔが低下するから、イメージセンサ２４への入射強度は低下する。これを補うために、レンジが遠いほど、露光回数が多くなるように撮影パラメータが規定される。

【0158】

本実施形態において、レンジ番号と露光回数の関係は、減衰係数σごとに規定される。この例では、減衰係数σは、３段階で表現され、σ_１＜σ_２＜σ_３の関係が成り立っており、減衰係数σが大きいほど、レンジ番号と露光回数の関係は、上側にシフトする。たとえば図１９の関係が、ルックアップテーブルあるいは演算式としてカメラコントローラ２６に不揮発的に保存されており、カメラコントローラ２６は、視界情報ＩＮＦＯ＿ＦＯＶに応じたひとつの関係にもとづいて、露光回数を決定する。ここでは、レンジ番号と露光回数の関係を曲線として示すが、直線で規定されてもよいし、折れ線で規定されてもよい。

【0159】

図２０（ａ）、（ｂ）は、図１６のゲーティングカメラ２０の第１制御方法の動作を示すタイムチャートである。図２０（ａ）は、視界が良好であるとき、つまり減衰係数σが小さいときの動作を示す。この例では、１番目のレンジＲＮＧ_１，２番目のレンジＲＮＧ_２の露光回数は２回であり、Ｎ番目のレンジＲＮＧ_Ｎの露光回数は４回である。近いレンジほど、発光と露光の時間差は短い。ここでは、発光の時間間隔は、レンジによらず、また視界の良否（減衰係数σ）によらずに、一定であるものとする。なお、発光の時間間隔は、レンジごとに異なっていてもよいし、視界の良否に応じて異なっていてもよい。

【0160】

図２０（ｂ）は、視界が悪いとき、つまり減衰係数σが大きいときの動作を示す。この例では、１番目のレンジＲＮＧ_１，２番目のレンジＲＮＧ_２の露光回数が、２回から３回に増えており、Ｎ番目のレンジＲＮＧ_Ｎの露光回数は４回から６回に増えている。

【0161】

第１制御方法によれば、視界が悪い状況下では、露光回数を増やすことで、イメージセンサ２４に入射するトータルの光量を増やすことができ、それにより、視界が良い状況と遜色のない画質を得ることができる。

【0162】

なお、複数露光にもとづく１枚のスライス画像の生成方法は特に限定されない。たとえば、多重露光可能なイメージセンサ２４を用いる場合、複数回の露光の総光量を積算して、１枚のスライス画像を生成することができる。

【0163】

イメージセンサ２４が多重露光をサポートしない場合には、露光ごとに生画像を生成し、後段の画像処理装置２８において、複数の露光に対応する複数の生画像を合成することにより、１枚のスライス画像を生成してもよい。

【0164】

（第２制御方法）
第２制御方法においてカメラコントローラ２６は、視界情報ＩＮＦＯ＿ＦＯＶにもとづいて、レンジの奥行き長さを変化させる。具体的には、減衰係数σが大きいほど、レンジの長さを短くする。

【0165】

図２１（ａ）、（ｂ）は、図１６のゲーティングカメラ２０における第２制御方法を説明する図である。横軸はレンジの位置（レンジ番号）すなわち距離を、縦軸は、各レンジの奥行き長さを示す。

【0166】

図２１（ａ）は、すべてのレンジの奥行き長さが等しい場合を示している。この例では、奥行き長さは、減衰係数σに応じて２段階で制御され、Ｎ＝４であるとする。減衰係数σが小さい場合（σ_１）には、各レンジの奥行きは５０ｍとされる。つまり、一番近いレンジＲＮＧ_１は、０～５０ｍであり、２番目のレンジＲＮＧ_２は、５０～１００ｍであり、３番目のレンジＲＮＧ_３は１００～１５０ｍであり、４番目のレンジＲＮＧ_４は、１５０～２００ｍである。

【0167】

減衰係数σが大きい場合（σ_２）には、各レンジの奥行きは２５ｍとされる。つまり、一番近いレンジＲＮＧ_１は、０～２５ｍであり、２番目のレンジＲＮＧ_２は、２５～５０ｍであり、３番目のレンジＲＮＧ_３は５０～７５ｍであり、４番目のレンジＲＮＧ_４は、７５～１００ｍである。

【0168】

図２２（ａ）、（ｂ）は、図２１（ａ）の制御に対応する複数のレンジを示す図である。図２２（ａ）は、減衰係数σが小さい視界の良好な状況下での複数のレンジを示す。図２２（ｂ）は、霧が発生しており、減衰係数σが大きく、悪視界での複数のレンジを示す。

【0169】

図２１（ｂ）に示すように、レンジ毎に奥行き長さが異なっていてもよい。たとえば減衰係数σの値σ_１，σ_２，σ_３，σ_４ごとに、レンジ番号と奥行き長さの関係を定めておき、現在の減衰係数に応じた関係を選択してもよい。

【0170】

第２制御方法では、減衰係数σが大きい場合には、各レンジの長さを短くして、遠距離の撮影を諦めることと引き換えに、奥行き方向の分解能を高めることができる。

【0171】

なお、複数のレンジのうち、いくつかのレンジの奥行き長さは一定としておき、いくつかのレンジの奥行き長さを、減衰係数σに応じて変化させてもよい。

【0172】

（第３制御方法）
第３制御方法においてカメラコントローラ２６は、視界情報ＩＮＦＯ＿ＦＯＶにもとづいて、測定対象とするレンジの個数Ｎを変化させる。具体的には、減衰係数σが大きいほど、測定対象とするレンジの個数を奥側から順に減らしていく。

【0173】

図２３は、図１６のゲーティングカメラ２０の第３制御方法に係る動作を説明する図である。横軸は減衰係数σを、縦軸は、測定対象のレンジの個数Ｎを示す。

【0174】

図２４（ａ）～（ｃ）は、第３制御方法における複数のレンジを示す図である。ここでは、すべてのレンジの奥行き長さは等しいものとする。図２４（ａ）は視界が良好な状況を示しており、Ｎ＝８個のレンジについて測定が行われる。図２４（ｂ）は、雨が降っており、視界がやや悪化した状況であり、測定対象のレンジがＮ＝６個に減らされる。図２４（ｃ）では、霧が発生しており、視界が悪く、測定対象のレンジがＮ＝４個に減らされている。

【0175】

第３制御方法では、減衰係数σが大きい場合には、遠距離の撮影を諦め、近距離を集中的にセンシングすることとした。これにより、視界が悪い状況では、露光回数が多く、センシングに時間がかかる遠距離の撮影を省略されるため、近いレンジのスライス画像のフレームレートを高めることができる。

【0176】

なお、第１制御方法～第３制御方法は、単独で用いてもよいし、複数を任意に組み合わせてもよい。

【0177】

上述のゲーティングカメラ２０の用途を説明する。

【0178】

（用途）
図２５は、センシングシステム１０のブロック図である。センシングシステム１０は、上述のゲーティングカメラ２０に加えて演算処理装置４０を備える。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ、あるいはクラスともいう）を判定する物体検出システムである。

【0179】

ゲーティングカメラ２０により、複数のレンジＲＮＧ_１～ＲＮＧ_Ｎに対応する複数のスライス画像ＩＭＧｓ_１～ＩＭＧｓ_Ｎが生成される。ｉ番目のスライス画像ＩＭＧｓ_ｉには、対応するレンジＲＮＧ_ｉに含まれる物体のみが写る。

【0180】

演算処理装置４０は、ゲーティングカメラ２０によって得られる複数のレンジＲＮＧ_１～ＲＮＧ_Ｎに対応する複数のスライス画像ＩＭＧｓ_１～ＩＭＧｓ_Ｎにもとづいて、物体の種類を識別可能に構成される。演算処理装置４０は、機械学習によって生成された学習済みモデルにもとづいて実装される分類器４２を備える。演算処理装置４０は、レンジ毎に最適化された複数の分類器４２を含んでもよい。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。

【0181】

演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０はハードウェアのみで構成してもよい。演算処理装置４０の機能と、画像処理装置２８の機能を、同じプロセッサに実装してもよい。

【0182】

図２６（ａ）、（ｂ）は、ゲーティングカメラ２０を備える自動車３００を示す図である。図２６（ａ）を参照する。自動車３００は、ヘッドランプ（灯具）３０２Ｌ，３０２Ｒを備える。

【0183】

図２６（ａ）に示すように、ゲーティングカメラ２０の照明装置２２は、左右のヘッドランプ３０２Ｌ，３０２Ｒの少なくとも一方に内蔵されてもよい。イメージセンサ２４は、車両の一部、たとえばルームミラーの裏側に取り付けることができる。あるいはイメージセンサ２４は、フロントグリルやフロントバンパーに設けてもよい。カメラコントローラ２６は、車室内に設けてもよいし、エンジンルームに設けてもよいし、ヘッドランプ３０２Ｌ，３０２Ｒに内蔵してもよい。

【0184】

図２６（ｂ）に示すように、イメージセンサ２４は、左右のヘッドランプ３０２Ｌ，３０２Ｒのいずれかに、照明装置２２とともに内蔵してもよい。

【0185】

図２７は、センシングシステム１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３１０とともに灯具システム３０４を構成する。車両用灯具２００は、灯具側ＥＣＵ２１０およびランプユニット２２０を備える。ランプユニット２２０は、ロービームあるいはハイビームであり、光源２２２、点灯回路２２４、光学系２２６を備える。さらに車両用灯具２００には、センシングシステム１０が設けられる。

【0186】

センシングシステム１０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２１０は、センシングシステム１０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２２４および光学系２２６は、灯具側ＥＣＵ２１０が生成した配光パターンが得られるように動作する。センシングシステム１０の演算処理装置４０は、車両用灯具２００の外部、すなわち車両側に設けられてもよい。

【0187】

またセンシングシステム１０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３１０に送信してもよい。車両側ＥＣＵ３１０は、この情報を、自動運転や運転支援に利用してもよい。

【0188】

実施形態にもとづき、具体的な語句を用いて本発明を説明したが、実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

【産業上の利用可能性】

【0189】

本開示は、ゲーティングカメラに関する。

【符号の説明】

【0190】

１０ センシングシステム
２０ ゲーティングカメラ
２２ 照明装置
２４ イメージセンサ
２６ カメラコントローラ
２８ 画像処理装置
４０ 演算処理装置
４２ 分類器
２００ 車両用灯具
２１０ 灯具側ＥＣＵ
２２０ ランプユニット
２２２ 光源
２２４ 点灯回路
２２６ 光学系
３００ 自動車
３０２Ｌ ヘッドランプ
３０４ 灯具システム
３１０ 車両側ＥＣＵ
Ｌ１ プローブ光
Ｓ１ 発光タイミング信号
Ｓ２ 露光タイミング信号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】