特許 7594539 ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-26

(45)【発行日】2024-12-04

(54)【発明の名称】ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法

(51)【国際特許分類】

   G01S 17/894 20200101AFI20241127BHJP

   B60Q 1/00 20060101ALI20241127BHJP

   B60Q 1/24 20060101ALI20241127BHJP

   G01S 7/495 20060101ALI20241127BHJP

   G01S 17/18 20200101ALI20241127BHJP

【ＦＩ】

G01S17/894

B60Q1/00 C

B60Q1/24 Z

G01S7/495

G01S17/18

【請求項の数】 9

(21)【出願番号】P 2021548999

(86)(22)【出願日】2020-09-24

(86)【国際出願番号】 JP2020036106

(87)【国際公開番号】W WO2021060397

(87)【国際公開日】2021-04-01

【審査請求日】2023-06-28

(31)【優先権主張番号】P 2019176006

(32)【優先日】2019-09-26

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2019176007

(32)【優先日】2019-09-26

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2019180897

(32)【優先日】2019-09-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001133

【氏名又は名称】株式会社小糸製作所

(74)【代理人】

【識別番号】110001416

【氏名又は名称】弁理士法人信栄事務所

(72)【発明者】

【氏名】加藤 大騎

(72)【発明者】

【氏名】▲高▼橋 昌之

(72)【発明者】

【氏名】伊多波 晃志

【審査官】渡辺 慶人

(56)【参考文献】

【文献】特開２００９－２５７９８３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／００５６４９８（ＵＳ，Ａ１）

【文献】国際公開第２０１９／１６７３５０（ＷＯ，Ａ１）

【文献】特表２０１５－５２７７６１（ＪＰ，Ａ）

【文献】国際公開第２０１７／１１０４１６（ＷＯ，Ａ１）

【文献】特開２０１４－１９７８２４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２３４９７６（ＵＳ，Ａ１）

【文献】米国特許第０４９２０４１２（ＵＳ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８ － ７／５１

１７／００ － １７／９５

Ｇ０１Ｂ １１／００ － １１／３０

Ｇ０１Ｃ ３／００ － ３／３２

Ｇ０６Ｔ １／００ － １／４０

３／００ － ５／５０

９／００ － ９／４０

(57)【特許請求の範囲】

【請求項1】

プローブ光を照射する照明装置と、
イメージセンサと、
奥行き方向について区切られた複数の撮影レンジの各々について前記照明装置による前記プローブ光の照射のタイミングと前記イメージセンサによる露光のタイミングを相違させることにより、それぞれに各撮影レンジに含まれる物体のみが写った複数のスライス画像を取得するカメラコントローラと、
所定の注目物体が複数のスライス画像に跨って含まれているかを判断し、含まれていると判断された場合、当該複数のスライス画像を合成して当該注目物体の全体が含まれるとともに当該複数のスライス画像の一つのみに含まれる物体が除かれた最終画像を生成する画像処理部と、
を備えることを特徴とするゲーティングカメラ。

【請求項2】

前記所定の注目物体は車両であり、前記複数のスライス画像の一つのみに含まれる物体は人物であることを特徴とする請求項１に記載のゲーティングカメラ。

【請求項3】

プローブ光を照射する照明装置と、
イメージセンサと、
奥行き方向について区切られた複数の撮影レンジの各々について前記照明装置による前記プローブ光の照射のタイミングと前記イメージセンサによる露光のタイミングを相違させることにより、それぞれに各撮影レンジに含まれる物体のみが写った複数のスライス画像を取得するカメラコントローラと、
前記複数のスライス画像を合成して合成画像を生成し、当該合成画像に基づいて最終画像を生成する画像処理部と、
を備えており、
前記合成画像を形成する複数の画素の各々は、前記複数のスライス画像において対応する画素が有する複数の輝度値から所定の条件を満たすように選ばれた一つの輝度値を示す輝度値情報と、当該一つの輝度値を有する画素を含む前記複数のスライス画像の一つに対応する距離を示す距離情報とを含んでおり、
前記最終画像は、前記距離情報に基づいて抽出された少なくとも一つの注目物体を含んでいることを特徴とするゲーティングカメラ。

【請求項4】

請求項１から３のいずれかに記載のゲーティングカメラと、
前記ゲーティングカメラの出力を処理する演算処理装置と、
を備えることを特徴とする自動車。

【請求項5】

請求項１から３のいずれかに記載のゲーティングカメラを備えることを特徴とする車両用灯具。

【請求項6】

ゲーティングカメラ用の画像処理装置であって、
前記ゲーティングカメラは、
プローブ光を照射する照明装置と、
イメージセンサと、
奥行き方向について区切られた複数の撮影レンジの各々について前記照明装置による前記プローブ光の照射のタイミングと前記イメージセンサによる露光のタイミングを相違させることにより、それぞれに各撮影レンジに含まれる物体のみが写った複数のスライス画像を取得するカメラコントローラと、
を備え、
前記画像処理装置は、
所定の注目物体が複数のスライス画像に跨って含まれているかを判断し、含まれていると判断された場合、当該複数のスライス画像を合成して当該注目物体の全体が含まれるとともに当該複数のスライス画像の一つのみに含まれる物体が除かれた最終画像を生成することを特徴とする画像処理装置。

【請求項7】

ゲーティングカメラにおける画像処理方法であって、
前記ゲーティングカメラは、
プローブ光を照射する照明装置と、
イメージセンサと、
奥行き方向について区切られた複数の撮影レンジの各々について前記照明装置による前記プローブ光の照射のタイミングと前記イメージセンサによる露光のタイミングを相違させることにより、それぞれに各撮影レンジに含まれる物体のみが写った複数のスライス画像を取得するカメラコントローラと、
を備え、
前記画像処理方法は、
所定の注目物体が複数のスライス画像に跨って含まれているかを判断するステップと、
所定の注目物体が複数のスライス画像に跨って含まれているかを判断し、含まれていると判断された場合、当該複数のスライス画像を合成して当該注目物体の全体が含まれるとともに当該複数のスライス画像の一つのみに含まれる物体が除かれた最終画像を生成するステップと、
を備えることを特徴とする画像処理方法。

【請求項8】

ゲーティングカメラ用の画像処理装置であって、
前記ゲーティングカメラは、
プローブ光を照射する照明装置と、
イメージセンサと、
奥行き方向について区切られた複数の撮影レンジの各々について前記照明装置による前記プローブ光の照射のタイミングと前記イメージセンサによる露光のタイミングを相違させることにより、それぞれに各撮影レンジに含まれる物体のみが写った複数のスライス画像を取得するカメラコントローラと、
を備え、
前記画像処理装置は、
前記複数のスライス画像を合成することにより合成画像を生成し、当該合成画像に基づいて最終画像を生成し、
前記合成画像を形成する複数の画素の各々は、前記複数のスライス画像において対応する画素が有する複数の輝度値から所定の条件を満たすように選ばれた一つの輝度値を示す輝度値情報と、当該一つの輝度値を有する画素を含む前記複数のスライス画像の一つに対応する距離を示す距離情報とを含んでおり、
前記最終画像は、前記距離情報に基づいて抽出された少なくとも一つの注目物体を含んでいることを特徴とする画像処理装置。

【請求項9】

ゲーティングカメラにおける画像処理方法であって、
前記ゲーティングカメラは、
プローブ光を照射する照明装置と、
イメージセンサと、
奥行き方向について区切られた複数の撮影レンジの各々について前記照明装置による前記プローブ光の照射のタイミングと前記イメージセンサによる露光のタイミングを相違させることにより、それぞれに各撮影レンジに含まれる物体のみが写った複数のスライス画像を取得するカメラコントローラと、
を備え、
前記画像処理方法は、
前記複数のスライス画像を合成して合成画像を生成するステップと、
前記合成画像に基づいて最終画像を生成するステップと、
を備え、
前記合成画像を形成する複数の画素の各々は、前記複数のスライス画像において対応する画素が有する複数の輝度値から所定の条件を満たすように選ばれた一つの輝度値を示す輝度値情報と、当該一つの輝度値を有する画素を含む前記複数のスライス画像の一つに対応する距離を示す距離情報とを含んでおり、
前記最終画像は、前記距離情報に基づいて抽出された少なくとも一つの注目物体を含んでいることを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ゲーティングカメラに関する。

【背景技術】

【0002】

自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。

【0003】

一般的な単眼のカメラからは、奥行きの情報を得ることができない。したがって、異なる距離に位置する複数の物体が重なっている場合に、それらを分離することが難しい。

【0004】

奥行き情報が得られるカメラとして、ＴＯＦカメラが知られている。ＴＯＦ（Time Of Flight）カメラは、発光デバイスによって赤外光を投光し、反射光がイメージセンサに戻ってくるまでの飛行時間を測定し、飛行時間を距離情報に変換した画像を得るものである。

【0005】

本出願人は、ＴＯＦカメラに代わるアクティブセンサとして、ゲーティングカメラ（Gating CameraあるいはGated Camera）を提案している（特許文献１，２）。ゲーティングカメラは、撮影範囲を複数の撮影レンジに区切り、撮影レンジごとに露光タイミングおよび露光時間を変化させて複数回、撮像する。これにより、対象の撮影レンジごとにスライス画像が得られ、各スライス画像は対応する撮影レンジに含まれる物体のみを含む。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００９－２５７９８３号公報

【文献】国際公開ＷＯ２０１７／１１０４１３Ａ１

【発明の概要】

【発明が解決しようとする課題】

【0007】

１． 本発明者らは、ゲーティングカメラについて検討した結果、以下の課題を認識するに至った。図１（ａ）、（ｂ）は、ゲーティングカメラにおいて発生する問題を説明する図である。図１（ａ）は、ゲーティングカメラによる撮影シーンの一例である。撮影レンジの奥行きを狭くすると、ある物体が、複数の撮影レンジに跨がって存在することとなる。図１（ａ）では、撮影レンジの奥行きを１．５ｍとして、自動車を正面から撮影する様子を示す。図１（ｂ）は、図１（ａ）の撮影シーンにおいて得られる複数のスライス画像を示す。ある撮影レンジに対応するスライス画像ＩＭＧｓ_ｉには、自動車のバンパーやボンネットの一部のみが映り、別のスライス画像ＩＭＧｓ_ｉ＋１には、自動車のボンネットの一部やフロントガラスのみが写る。したがって、個々のスライス画像ＩＭＧｓからは、物体が何であるかを認識することは難しい。

【0008】

この問題は、撮影レンジの奥行きを数十ｍ程度まで拡大することにより解決することができる。しかしながら撮影レンジの奥行きを大きくしすぎると、あるレンジに注目物体以外の物体が含まれる可能性が高くなり、ゲーティングカメラの利点が損なわれる。

【0009】

１． 本開示は係る課題に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、撮影レンジの奥行きを小さくしつつ、物体全体を含む画像を生成可能なゲーティングカメラの提供にある。

【0010】

２． ゲーティングカメラにおいて、イメージセンサから画像処理部への画像の伝送速度がボトルネックとなる。つまりイメージセンサのフレームレートは非常に高く設定できるが、ゲーティングカメラが全撮影レンジのスライス画像を生成するのに要する時間（以下、ゲーティングカメラの撮影時間という）は、伝送速度によって制限を受けることとなる。

【0011】

本開示は、係る課題に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、撮影時間を短縮可能なゲーティングカメラの提供にある。

【0012】

３． ゲーティングカメラをはじめとするアクティブセンサは、物体にプローブ光を照射し、その反射光を検出する。アクティブセンサは、主として、物体に光を照射する投光器（照明）と、物体からの反射光を検出する光センサを備える。アクティブセンサは、プローブ光の波長とセンサの感度波長域を合わせることで、パッシブセンサよりも外乱に対する耐性を高めることができるという利点を有する。

【0013】

アクティブセンサの近傍に、アクティブセンサの照明装置と同じ波長を有し、整数倍あるいは整数分の周期で発光するパルス光源が存在すると、アクティブセンサの検出精度が著しく低下する。

【0014】

本開示は係る課題に鑑みて成されたものであり、そのある態様の例示的な目的のひとつは、周囲のパルス光源の影響を低減可能なアクティブセンサの提供にある。

【課題を解決するための手段】

【0015】

本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。

【0016】

１． 一実施形態に係るゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、奥行き方向を複数の撮影レンジに区切り、撮影レンジをシフトしながら、各撮影レンジにおいてイメージセンサが出力するスライス画像が、対応する撮影レンジに含まれる物体のみを含むように、照明装置によるプローブ光の照射のタイミングと、イメージセンサによる露光のタイミングを制御するカメラコントローラと、複数の撮影レンジに対応する複数のスライス画像にもとづいて、注目物体（ＯＯＩ：Object Of Interest）の全体を含む最終画像を生成する画像処理部と、を備える。

【0017】

この態様によれば、撮影レンジの奥行きを小さくしつつ、注目物体の全体を含む最終画像を生成できる。

【0018】

最終画像は、注目物体のみを含んでもよい。注目物体以外を除去することにより、ディスプレイに表示した場合の視認性を高めることができる。あるいは、注目物体の物体認識などの後段の処理が容易となる。

【0019】

画像処理部は、複数のスライス画像を合成し、各画素が距離情報を有する合成画像を生成し、合成画像の中から注目物体を含む領域を抽出してもよい。中間画像の距離情報を参照することにより、物体の分離が容易となる。

【0020】

一実施形態に係るゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、奥行き方向を複数の撮影レンジに区切り、撮影レンジをシフトしながら、各撮影レンジにおいてイメージセンサが出力するスライス画像が、対応する撮影レンジに含まれる物体のみを含むように、照明装置によるプローブ光の照射のタイミングと、イメージセンサによる露光のタイミングを制御するカメラコントローラと、複数の撮影レンジに対応する複数のスライス画像を合成し、各画素が距離情報を有する合成画像を生成する画像処理部と、を備える。

【0021】

中間画像の距離情報を参照することにより、物体の分離が容易となる。

【0022】

２． 一実施形態に係るゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、奥行き方向を複数の撮影レンジに区切り、撮影レンジをシフトしながら、各撮影レンジにおいてイメージセンサが出力するスライス画像が、対応する撮影レンジに含まれる物体のみを含むように、照明装置によるプローブ光の照射のタイミングと、イメージセンサによる露光のタイミングを制御するカメラコントローラと、イメージセンサからスライス画像を受信し、スライス画像を処理する画像処理部と、を備える。カメラコントローラは、イメージセンサから画像処理部に伝送されるスライス画像のデータ量を適応的に制御可能に構成される。

【0023】

この態様によれば、状況に応じて伝送するスライス画像のデータ量を削減することにより、伝送時間を短縮でき、ひいては撮影時間を短縮できる。

【0024】

カメラコントローラは、イメージセンサあるいは、イメージセンサと画像処理部の間のインタフェース（画像伝送回路）によって、スライス画像の一部をクロップさせることにより、伝送するスライス画像のサイズを小さくしてもよい。必要な部分だけをクロップして伝送することにより、データ量を削減できる。

【0025】

クロップに代えて、あるいはそれに加えて、ビニングや間引き処理によって解像度を低下させて、データ量を削減してもよい。

【0026】

近距離の物体はスライス画像内を相対的に速く移動するため、ある時点を基準にクロップ領域を決めたとしても、その後、クロップ領域から物体が逸脱する可能性が高くなる。一方、遠距離の物体は、スライス画像の中を相対的に遅く移動するため、クロップ領域内に留まる時間が長くなる。また遠方の物体は、消失点近傍に集中的に現れる可能性が高い。そこで、所定距離より近い撮影レンジ群に対応するスライス画像群については、常にクロップせずに伝送され、所定距離より遠い撮影レンジ群に対応するスライス画像群については、クロップの有無が制御されてもよい。これにより、注目物体を含むスライス画像を伝送することができる。

【0027】

ゲーティングカメラは、複数のスライス画像をクロップせずに伝送し、クロップされない複数のスライス画像にもとづいて、その後の複数のスライス画像のクロップの有無を決定してもよい。これにより、クロップされないスライス画像にもとづいて、将来のスライス画像の状況を予測、推定し、クロップの有無を決定することができる。

【0028】

第１モードにおいて、すべての撮影レンジに対応するすべてのスライス画像がクロップせずに伝送され、第１モードにおいて伝送された複数のスライス画像のうち、所定距離より遠い撮影レンジ群に対応する遠方スライス画像群に、単一の注目物体のみが含まれる場合、第２モードに遷移してもよい。第２モードにおいて、遠方スライス画像群について、注目物体を包含する注目領域をクロップして伝送してもよい。

【0029】

照明装置は、プローブ光を集光、拡散させることにより、照射範囲を可変に構成されてもよい。カメラコントローラは、クロップして伝送すべきスライス画像を撮影する際に、照明装置にプローブ光を集光させてもよい。遠方の撮影レンジを撮影する際には、プローブ光とその反射光の減衰量が大きいため、１回の露光では、十分な明るさのスライス画像を生成できない。このような場合、遠方の撮影レンジについては、複数回の露光を行い、露光ごとに得られるスライス画像をコンポジットして、１枚のスライス画像を生成する必要がある。プローブ光を集光することにより、１回の露光で得られるスライス画像の明るさを明るくできるので、露光の回数、ひいてはスライス画像の伝送の回数を減らすことができる。これにより、撮影時間を短縮できる。

【0030】

一実施形態に係るゲーティングカメラは、プローブ光を照射する照明装置であって、プローブ光を集光、拡散させることにより、照射範囲を可変に構成される照明装置と、イメージセンサと、奥行き方向を複数の撮影レンジに区切り、撮影レンジをシフトしながら、各撮影レンジにおいてイメージセンサが出力するスライス画像が、対応する撮影レンジに含まれる物体のみを含むように、照明装置によるプローブ光の照射のタイミングと、イメージセンサによる露光のタイミングを制御するカメラコントローラと、イメージセンサからスライス画像を受信し、スライス画像を処理する画像処理部と、を備える。カメラコントローラは、画像処理部の検出結果にもとづいて、照明装置の照射範囲を制御する。

【0031】

遠方の撮影レンジを撮影する際、あるいは濃霧の中で撮影する際には、プローブ光とその反射光の減衰量が大きくなる。この場合、１回の露光では、十分な明るさのスライス画像を生成できず、複数回の露光を行い、露光ごとに得られるスライス画像をコンポジットして、１枚のスライス画像を生成する必要がある。プローブ光を集光することにより、１回の露光で得られるスライス画像の明るさを明るくできるので、露光の回数、ひいてはスライス画像の伝送の回数を減らすことができる。これにより、撮影時間を短縮できる。

【0032】

第１モードにおいて、プローブ光は、全照射範囲に照射されてもよい。画像処理部が、第１モードにおいて、所定の撮影レンジのスライス画像内に注目物体を検出したときに、第２モードに遷移し、第２モードにおいて、所定の撮影レンジを撮影する際に、プローブ光は、注目物体を含む注目領域に照射されてもよい。

【0033】

一実施形態に係るアクティブセンサは、不均一な時間間隔で複数回、パルス発光する発光装置と、発光装置の発光ごとに、それと同期したタイミングで物体からの反射光を検出し、複数回の検出結果を積算して出力する光センサと、を備える。

【0034】

光センサは、同じアクティブセンサ内の発光装置と同期しているため、発光タイミングが変化しても、光センサには、同じタイミングで物体からの反射光が入射することとなる。したがって反射光の検出値が積算されて大きな信号成分を得ることができる。他のノイズ光源の発光タイミングは光センサの露光タイミングとは非同期となるため、ノイズ光源からのノイズ光が光センサに入射するタイミングが、光センサの露光タイミングに含まれる頻度を低下させることができる。これにより、周囲のパルス光源の影響を低減できる。

【0035】

発光装置の１回の発光と光センサの１回の露光を含む１回のセンシングは、所定周期で繰り返し行われ、センシングごとに、所定周期内における発光装置の発光タイミングが変化してもよい。

【0036】

アクティブセンサは、奥行き方向について複数のレンジに区切り、レンジ毎に、発光と撮像の時間差を変化させることにより、複数のレンジに対応する複数の画像を取得可能なゲーティングカメラであってもよい。

【0037】

アクティブセンサは、ＴＯＦ（Time Of Flight）カメラであってもよい。

【0038】

アクティブセンサは、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）であってもよい。

【発明の効果】

【0039】

一実施形態によれば、撮影レンジの奥行きを小さくしつつ、注目物体の全体を含む画像を生成できる。一実施形態によれば、ゲーティングカメラの撮影時間を短縮できる。一実施形態によれば、周囲のアクティブセンサから受ける影響を低減できる。

【図面の簡単な説明】

【0040】

【図1】図１（ａ）、（ｂ）は、ゲーティングカメラにおいて発生する問題を説明する図である。

【図2】実施形態１に係るゲーティングカメラのブロック図である。

【図3】ゲーティングカメラの撮影動作を説明する図である。

【図4】撮影シーンの一例を示す図である。

【図5】図４の走行シーンにおいて得られる全スライスＩＭＧｓ_１～ＩＭＧｓ_Ｎのうちの３枚のスライス画像ＩＭＧｓ_ｉ～ＩＭＧｓ_ｉ＋２を示す図である。

【図6】画像処理部が生成する最終画像ＩＭＧｆを示す図である。

【図7】画像処理部が生成する合成画像ＩＭＧｃを説明する図である。

【図8】図８（ａ）～（ｃ）は、画像処理部における合成画像ＩＭＧｃの生成処理の具体例を示す図である。

【図9】図９（ａ）～（ｃ）は、合成画像ＩＭＧｃにもとづく最終画像ＩＭＧｆの生成を説明する図である。

【図10】実施形態２に係るゲーティングカメラのブロック図である。

【図11】ゲーティングカメラの撮影動作を説明する図である。

【図12】図１２（ａ）、（ｂ）は、スライス画像ＩＭＧｓのクロップ処理の一例を説明する図である。

【図13】図１３（ａ）、（ｂ）は、スライス画像の撮影および伝送を説明する図である。

【図14】ゲーティングカメラにおけるモード制御の一例のフローチャートである。

【図15】第２モードに遷移する状況の一例を示す図である。

【図16】実施形態３に係るゲーティングカメラのブロック図である。

【図17】実施形態４に係るゲーティングカメラのブロック図である。

【図18】実施形態５に係るアクティブセンサのブロック図である。

【図19】発光装置の発光タイミングと、光センサの露光タイミングの関係を示すタイムチャートである。

【図20】比較技術に係るアクティブセンサの動作波形図である。

【図21】図１８のアクティブセンサの動作波形図である。

【図22】一実施例に係るゲーティングカメラのブロック図である。

【図23】ゲーティングカメラの動作を説明する図である。

【図24】図２４（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。

【図25】ゲーティングカメラあるいはアクティブセンサを内蔵する車両用灯具を示す図である。

【図26】物体識別システムを備える車両用灯具を示すブロック図である。

【発明を実施するための形態】

【0041】

以下、本発明を好適な実施形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

【0042】

（実施形態１）
図２は、実施形態１に係るゲーティングカメラ２０のブロック図である。ゲーティングカメラ２０は、奥行き方向について複数Ｎ個（Ｎ≧２）の撮影レンジＲＮＧ_１～ＲＮＧ_Ｎに区切って撮像を行う。例えば１つの撮影レンジの奥行きは１～２ｍ程度（たとえば１．５ｍ）であり、Ｎ＝１００とする。

【0043】

ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、カメラコントローラ２６、画像処理部２８を備える。

【0044】

照明装置２２は、カメラコントローラ２６から与えられる発光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。

【0045】

イメージセンサ２４は、カメラコントローラ２６から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、スライス画像ＩＭＧｓを生成可能に構成される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影し、スライス画像ＩＭＧｓを出力する。

【0046】

カメラコントローラ２６は、撮影レンジＲＮＧ_１～ＲＮＧ_Ｎごとに予め定められた発光タイミングと露光タイミングを保持している。カメラコントローラ２６は、ある撮影レンジＲＮＧ_ｉを撮影するとき、その撮影レンジに対応する発光タイミングと露光タイミングにもとづいて発光タイミング信号Ｓ１および露光タイミング信号Ｓ２を生成し、撮影を行う。ｉ番目のスライス画像ＩＭＧｓ_ｉには、対応する撮影レンジＲＮＧ_ｉに含まれる物体が写ることとなる。

【0047】

本実施形態においてカメラコントローラ２６は、撮影レンジＲＮＧ_ｉを奥行き方向にシフトしながら撮影を行い、全撮影レンジＲＮＧ_１～ＲＮＧ_Ｎについて、スライス画像ＩＭＧｓ_１～ＩＭＧｓ_Ｎを生成する。

【0048】

図３は、ゲーティングカメラ２０の撮影動作を説明する図である。図３にはｉ番目の撮影レンジＲＮＧ_ｉを興味レンジ（ＲＯＩ：Range Of Interest）として測定するときの様子が示される。照明装置２２は、発光タイミング信号Ｓ１と同期して、時刻ｔ_０～ｔ_１の間の発光期間τ_１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、撮影レンジＲＮＧ_ｉの手前の境界までの距離をｄ_{ＭＩＮｉ、}撮影レンジＲＮＧ_ｉの奥側の境界までの距離をｄ_ＭＡＸｉとする。

【0049】

ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＩＮｉは、
Ｔ_ＭＩＮｉ＝２×ｄ_ＭＩＮｉ／ｃ
である。ｃは光速である。

【0050】

同様に、ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＡＸｉは、
Ｔ_ＭＡＸｉ＝２×ｄ_ＭＡＸｉ／ｃ
である。

【0051】

撮影レンジＲＮＧ_ｉに含まれる物体ＯＢＪを撮影したいとき、カメラコントローラ２６は、時刻ｔ_２＝ｔ_０＋Ｔ_ＭＩＮｉに露光を開始し、時刻ｔ_３＝ｔ_１＋Ｔ_ＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回の露光動作である。

【0052】

ｉ番目の撮影レンジＲＮＧ_ｉを撮影する際に、複数回の露光を繰り返し行ってもよい（多重露光）。この場合、カメラコントローラ２６は、所定の周期τ_２で、上述の露光動作を複数回にわたり繰り返せばよい。

【0053】

図２に戻る。画像処理部２８は、複数の撮影レンジＲＮＧ_１～ＲＮＧ_Ｎに対応する複数のスライス画像ＩＭＧｓ_１～ＩＭＧｓ_Ｎが入力される。画像処理部２８は、複数のスライス画像ＩＭＧｓ_１～ＩＭＧｓ_Ｎにもとづいて、注目物体（ＯＯＩ）を含む１枚の最終画像ＩＭＧｆを生成する。

【0054】

以上がゲーティングカメラ２０の構成である。続いてその動作を説明する。

【0055】

図４は、撮影シーンの一例を示す図である。ゲーティングカメラ２０の前方には、車両ＯＢＪ１と、歩行者ＯＢＪ２が存在する。車両ＯＢＪ１は、複数の撮影レンジＲＮＧ_ｉ～ＲＮＧ_ｉ＋２に跨がって存在しており、歩行者ＯＢＪ２は、撮影レンジＲＮＧ_ｉに含まれている。

【0056】

図５は、図４の走行シーンにおいて得られる全スライスＩＭＧｓ_１～ＩＭＧｓ_Ｎのうちの３枚のスライス画像ＩＭＧｓ_ｉ～ＩＭＧｓ_ｉ＋２を示す図である。スライス画像ＩＭＧｓ_ｉには、対応する撮影レンジＲＮＧ_ｉに含まれる物体のみが写ることとなる。したがって、スライス画像ＩＭＧｓ_ｉには、歩行者２と、車両ＯＢＪ１の一部ＯＢＪ１_Ａが含まれ、スライス画像ＩＭＧｓ_ｉ＋１には、車両ＯＢＪ１の一部ＯＢＪ１_Ｂが含まれ、スライス画像ＩＭＧｓ_ｉ＋２には、車両ＯＢＪ１の一部ＯＢＪ１_Ｃが含まれる。

【0057】

たとえば画像処理部２８は、全スライス画像ＩＭＧｓ_１～ＩＭＧｓ_Ｎをスキャンし、それに含まれる注目物体の候補を設定する。この例では画像処理部２８は、スライス画像ＩＭＧｓ_ｉに含まれる車両の一部分を検出すると、車両を注目物体として設定する。そして、全スライス画像ＩＭＧｓ_１～ＩＭＧｓ_Ｎを改めてスキャンし、同じ車両ＯＢＪ１の別の部分ＯＢＪ１_Ｂ，ＯＢＪ１_Ｃを含むスライス画像ＩＭＧｓ_ｉ＋１，ＩＭＧｓ_ｉ＋２を検出する。そして、これらのスライス画像ＩＭＧｓ_ｉ～ＩＭＧｓ_ｉ＋２の中から、同一の注目物体を構成する部分ＯＢＪ１_Ａ～ＯＢＪ１_Ｃを抽出して、それらを合成する。図６は、画像処理部２８が生成する最終画像ＩＭＧｆを示す図である。この最終画像ＩＭＧｆには、注目物体ではない歩行者ＯＢＪ２は含まれていないことに留意されたい。

【0058】

以上がゲーティングカメラ２０の動作である。このゲーティングカメラ２０によれば、撮影レンジＲＮＧの奥行きを小さくしつつ、注目物体を抽出し、その全体を含む最終画像ＩＭＧｆを生成できる。

【0059】

ゲーティングカメラ２０は、注目物体以外の物体を、最終画像から取り除くことができるという利点を有する。この利点は、図４のような撮影シーンのほか、降雪時など、特定の状況下において特に発揮される。降雪時は、小さい多くの雪粒が各スライス画像に含まれる。ゲーティングカメラ２０によれば、雪粒を最終画像ＩＭＧｆから取り除くことができるため、視認性に優れた画像を生成できる。

【0060】

続いて画像処理部２８における処理の具体例を説明する。画像処理部２８は、最終画像ＩＭＧｆの生成工程において、合成画像ＩＭＧｃを生成し、合成画像ＩＭＧｃにもとづいて、最終画像ＩＭＧｆを生成してよい。

【0061】

図７は、画像処理部２８が生成する合成画像ＩＭＧｃを説明する図である。スライス画像ＩＭＧｓおよび中間画像ＩＭＧｃは、Ｘ×Ｙピクセルを有する。ｊ行ｉ列目のピクセルをＰ_ｉｊと表記する。中間画像ＩＭＧｃは、全スライス画像ＩＭＧｓ_１～ＩＭＧｓ_Ｎを合成した画像である。中間画像ＩＭＧｃの各画素Ｐ_ｉｊは、全スライス画像ＩＭＧｓ_１～ＩＭＧｓ_ＮのひとつＩＭＧｓ_ｋ（ｋ＝１～Ｎ）の対応する画素Ｐ_ｉｊの輝度値Ｌ、またはその輝度値を演算して得られる輝度値Ｌ’を有する。さらに中間画像ＩＭＧｃの各画素Ｐ_ｉｊは、その輝度値の由来となるスライス画像ＩＭＧｓ_ｋの識別子（この例ではｋ）を含む。この識別子ｋは物体までの距離情報と捉えることができ、したがって中間画像ＩＭＧｃの各画素Ｐ_ｉｊは、識別子ｋに代えて、その画素の起源となった物体までの距離ｄを用いてもよい。本明細書では、各画素Ｐ_ｉｊを［Ｌ，ｋ］の形式で表す。

【0062】

なお、中間画像ＩＭＧｃのフォーマットは特に限定されない。たとえば中間画像ＩＭＧｃは、輝度値を表すＸ×Ｙの画像データと、距離情報を表すＸ×Ｙの画像データの２枚の画像データを含んでもよい。

【0063】

図８（ａ）～（ｃ）は、画像処理部２８における合成画像ＩＭＧｃの生成処理の具体例を示す図である。ここでは理解の容易化のため、Ｎ＝６とし、各画素の階調を０～７の８階調（３ビット）で表すものとする。図８（ａ）には、全撮影レンジに対応する複数のスライス画像ＩＭＧｓ_１～ＩＭＧｓ_６が示される。

【0064】

合成の方法は特に限定されないが、たとえば以下の方法が例示される。

【0065】

図８（ｂ）には、第１の生成方法により得られる中間画像ＩＭＧｃが示される。第１の生成方法では、中間画像ＩＭＧｃの各画素Ｐ_ｉｊの輝度値は、全スライス画像ＩＭＧｓ_１～ＩＭＧｓ_６それぞれの対応する画素Ｐ_ｉｊの輝度値のうち、最大値（またはその最大値を演算して得られる値）を有する。

【0066】

図８（ｃ）には、第２の生成方法により得られる中間画像ＩＭＧｃが示される。第２の生成方法では、中間画像ＩＭＧｃの各画素Ｐ_ｉｊの輝度値は、全スライス画像ＩＭＧｓ_１～ＩＭＧｓ_６それぞれの対応する画素Ｐ_ｉｊの輝度値であって、有効な値を有する輝度値のうち、最も手前（すなわち距離が近い）スライス画像の輝度値（またはそれを演算して得られる値）を有する。有効な値は、非ゼロであってもよいし、所定のしきい値より大きい値であってもよい。

【0067】

以上が合成画像ＩＭＧｃの説明である。図９（ａ）～（ｃ）は、合成画像ＩＭＧｃにもとづく最終画像ＩＭＧｆの生成を説明する図である。

【0068】

合成画像ＩＭＧｃは、輝度値Ｌに加えて、物体までの距離を表す識別子ｋを含んでおり、これにより注目物体ＯＯＩの分離が容易となる。なぜなら、識別子ｋに隔たりある画素は、別の物体に属する可能性が高く、識別子ｋが近い画素は、同じ物体に属する可能性が高いという前提のもと、物体抽出処理のアルゴリズムを作成することができるからである。

【0069】

合成画像ＩＭＧｃに、複数の注目物体ＯＯＩ_１，ＯＯＩ_２が含まれる場合、図９（ｂ）に示すように、注目物体ごとに最終画像ＩＭＧｆ_１，ＩＭＧｆ_２を生成してもよい。

【0070】

あるいは合成画像ＩＭＧｃに、複数の注目物体ＯＯＩ_１，ＯＯＩ_２が含まれる場合に、図９（ｃ）に示すように、複数の注目物体を含む１枚の最終画像ＩＭＧｆを生成してもよい。

【0071】

合成画像ＩＭＧｃを一旦生成した後は、もとの複数のスライス画像ＩＭＧｃ_１～ＩＭＧｓ_Ｎのデータを破棄することができる。これにより、メモリ容量を削減できるという利点もある。

【0072】

（実施形態２）
図１０は、実施形態２に係るゲーティングカメラ２０のブロック図である。ゲーティングカメラ２０は、奥行き方向について複数Ｎ個（Ｎ≧２）の撮影レンジＲＮＧ_１～ＲＮＧ_Ｎに区切って撮像を行う。例えば１つの撮影レンジの奥行きｄは１～２ｍ程度（たとえば１．５ｍ）であり、Ｎ＝１００とする。

【0073】

ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、カメラコントローラ３２、画像処理部３４を備える。

【0074】

照明装置２２は、カメラコントローラ３２から与えられる発光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。

【0075】

イメージセンサ２４は、カメラコントローラ３２から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、スライス画像ＩＭＧｓを生成可能に構成される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影し、スライス画像ＩＭＧｓを出力する。

【0076】

カメラコントローラ３２は、撮影レンジＲＮＧ_１～ＲＮＧ_Ｎごとに予め定められた発光タイミングと露光タイミングを保持している。カメラコントローラ３２は、ある撮影レンジＲＮＧ_ｉを撮影するとき、その撮影レンジに対応する発光タイミングと露光タイミングにもとづいて発光タイミング信号Ｓ１および露光タイミング信号Ｓ２を生成し、撮影を行う。ｉ番目のスライス画像ＩＭＧｓ_ｉには、対応する撮影レンジＲＮＧ_ｉに含まれる物体が写ることとなる。

【0077】

本実施形態においてカメラコントローラ３２は、撮影レンジＲＮＧ_ｉを奥行き方向にシフトしながら撮影を行い、全撮影レンジＲＮＧ_１～ＲＮＧ_Ｎについて、スライス画像ＩＭＧｓ_１～ＩＭＧｓ_Ｎを生成する。

【0078】

図１１は、ゲーティングカメラ２０の撮影動作を説明する図である。図１１にはｉ番目の撮影レンジＲＮＧ_ｉを測定するときの様子が示される。照明装置２２は、発光タイミング信号Ｓ１と同期して、時刻ｔ_０～ｔ_１の間の発光期間τ_１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、撮影レンジＲＮＧ_ｉの手前の境界までの距離をｄ_{ＭＩＮｉ、}撮影レンジＲＮＧ_ｉの奥側の境界までの距離をｄ_ＭＡＸｉとする。

【0079】

ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＩＮｉは、
Ｔ_ＭＩＮｉ＝２×ｄ_ＭＩＮｉ／ｃ
である。ｃは光速である。

【0080】

同様に、ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＡＸｉは、
Ｔ_ＭＡＸｉ＝２×ｄ_ＭＡＸｉ／ｃ
である。

【0081】

撮影レンジＲＮＧ_ｉに含まれる物体ＯＢＪを撮影したいとき、カメラコントローラ３２は、時刻ｔ_２＝ｔ_０＋Ｔ_ＭＩＮｉに露光を開始し、時刻ｔ_３＝ｔ_１＋Ｔ_ＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回の露光動作である。

【0082】

ｉ番目の撮影レンジＲＮＧ_ｉを撮影する際に、複数回の露光を繰り返し行ってもよい（多重露光）。この場合、カメラコントローラ３２は、所定の周期τ_２で、上述の露光動作を複数回にわたり繰り返せばよい。

【0083】

図１０に戻る。画像処理部３４は、イメージセンサ２４からスライス画像ＩＭＧｓ_ｉ（ｉ＝１，２，…Ｎ）を受け、受信したスライス画像ＩＭＧｓ_ｉを処理する。

【0084】

カメラコントローラ３２と画像処理部３４は、別々のハードウェアとして実装してもよいし、単一のハードウェアに実装してもよい。たとえばカメラコントローラ３２と画像処理部３４は、マイコンなどの演算処理装置３０と、それにより実行されるソフトウェアプログラムの組み合わせによって実装してもよい。

【0085】

イメージセンサ２４と演算処理装置３０の間はインタフェース２６を介して接続されている。インタフェース２６は、イメージセンサ２４から画像処理部３４にスライス画像ＩＭＧｓを伝送する。インタフェース２６の種類は特に限定されないが、たとえばＭＩＰＩ（Mobile Industry Processor Interface）やＵＳＢ（Universal Serial Bus）などを採用できる。

【0086】

本実施形態において、カメラコントローラ３２は、イメージセンサ２４とインタフェース２６の少なくとも一方を制御し、イメージセンサ２４から画像処理部３４に伝送されるスライス画像ＩＭＧｓのデータ量を適応的に制御可能に構成される。

【0087】

本実施形態において、カメラコントローラ３２は、イメージセンサ２４あるいはインタフェース２６において、スライス画像ＩＭＧｓの一部をクロップさせることにより、伝送されるスライス画像ＩＭＧｓのサイズ（ピクセル数）を小さくし、それによりデータ量を削減する。カメラコントローラ３２は、クロップの有無を指定する制御信号Ｓ３を生成する。この制御信号Ｓ３は、クロップする領域のサイズや位置の情報を含んでもよい。

【0088】

クロップの方式は特に限定されず、イメージセンサ２４において、スライス画像ＩＭＧｓの一部をクロップしてもよい。すなわち、イメージセンサ２４が読み出す画像自体をクロップしてもよい。あるいはインタフェース２６において、スライス画像ＩＭＧｓの一部をクロップしてもよい。すなわち、イメージセンサ２４からは全画素を読み出し、読み出したフルサイズの画像の一部の領域をクロップしてもよい。

【0089】

図１２（ａ）、（ｂ）は、スライス画像ＩＭＧｓのクロップ処理の一例を説明する図である。図１２（ａ）に示すように、イメージセンサ２４において得られるスライス画像ＩＭＧｓの一部にのみ、物体ＯＢＪが存在する可能性が高い場合に、物体ＯＢＪを包含する範囲（注目領域ＲＯＩ）をクロップし、クロップ後のスライス画像（クロップ画像）ＩＭＧｓ’を伝送する。

【0090】

図１２（ｂ）に示すように、イメージセンサ２４において得られるスライス画像ＩＭＧｓの広範囲にわたって、ひとつまたは複数の物体ＯＢＪが存在する可能性が高い場合には、元のスライス画像ＩＭＧｓをクロップせずに伝送する。

【0091】

近距離の物体はスライス画像内を相対的に速く移動するため、ある時点を基準にクロップ領域を決めたとしても、その後、クロップ領域から物体が逸脱する可能性が高くなる。そこで本実施形態では、近距離のスライス画像については、常にクロップせずに伝送する。これにより、物体を見失うのを防止できる。

【0092】

一方、遠距離の物体は、スライス画像の中を相対的に遅く移動するため、クロップ領域内に留まる時間が長くなる。また遠方の物体は、消失点近傍に集中的に現れる可能性が高い。

【0093】

そこで、本実施形態では、所定距離（たとえば１００ｍ）より近い撮影レンジ群（１０～１００ｍ）に対応するスライス画像群ＩＭＧｓ_１～ＩＭＧｓ_Ｙについては、常にクロップせずに伝送し、所定距離（１００ｍ）より遠い撮影レンジ群（１００～１５０ｍ）に対応するスライス画像群ＩＭＧｓ_Ｙ＋１～ＩＭＧｓ_Ｎについて、クロップの有無を制御してもよい。

【0094】

なお、演算処理装置３０からは、イメージセンサ２４において得られる「伝送前の」スライス画像ＩＭＧｓを見ることはできない。そこで本実施形態において、カメラコントローラ３２は、過去に画像処理部３４が受信した非クロップのスライス画像ＩＭＧｓにもとづいて、現在のスライス画像ＩＭＧｓの状態を推定し、クロップの有無を決定する必要がある。

【0095】

そこで、ゲーティングカメラ２０は、全スライス画像ＩＭＧｓ_１～ＩＭＧｓ_Ｎをクロップせずに伝送する。そして、クロップされないスライス画像群ＩＭＧｓ_１～ＩＭＧ_Ｎにもとづいて、その後のスライス画像群ＩＭＧｓ_１～ＩＭＧｓ_Ｎのクロップの有無を決定してもよい。これにより、クロップされないスライス画像にもとづいて、将来のスライス画像の状況を予測、推定し、クロップの有無を決定することができる。このとき、クロップの有無に加えて、クロップ領域の大きさや位置を決定してもよい。

【0096】

以上がゲーティングカメラ２０の基本構成である。続いてその動作を説明する。

【0097】

図１３（ａ）、（ｂ）は、スライス画像の撮影および伝送を説明する図である。図１３（ａ）では、すべての撮影レンジについて、イメージセンサ２４により撮影されたスライス画像の全体がそのまま伝送される。

【0098】

図１３（ｂ）では、少なくともひとつの撮影レンジＲＮＧにおいて、イメージセンサ２４により撮影されたスライス画像ＩＭＧｓの一部がクロップされ、クロップ後のスライス画像ＩＭＧｓ’が伝送される。クロップ後のスライス画像ＩＭＧｓ’のデータ量は、クロップ前のスライス画像ＩＭＧｓのデータ量よりも小さいため、伝送時間は短縮される。

【0099】

以上がゲーティングカメラ２０の動作である。続いてその利点を説明する。ゲーティングカメラ２０の撮影時間は、すべての撮影レンジにおける、露光時間とスライス画像の伝送時間の合計と把握できる。ゲーティングカメラ２０によれば、状況に応じて、イメージセンサ２４から画像処理部３４に伝送されるスライス画像ＩＭＧｓのデータ量を削減することにより、伝送時間を短縮でき、ゲーティングカメラ２０の撮影時間を短縮することができる。

【0100】

特に、スライス画像の一部をクロップすることにより、スライス画像のサイズを小さくしている。必要な部分だけをクロップして伝送することにより、データ量を削減できる。ここで、クロップの代わりに、ビニングや画素間引きを行うことによりデータ量を削減してもよい。ただしこの場合、画像処理部３４に入力されるスライス画像の解像度が低下するため、後段の物体認識処理の精度が低下する可能性もある。これに対して、クロップを用いれば、解像度が低下しないため、物体認識の精度の低下の心配がない。

【0101】

続いて、クロップの有無の制御の具体例を説明する。

【0102】

ゲーティングカメラ２０は、第１モードと第２モードが切り替え可能となっている。第１モードでは、すべての撮影レンジＲＮＧ_１～ＲＮＧ_Ｎに対応するすべてのスライス画像ＩＭＧｓ_１～ＩＭＧｓ_Ｎがクロップせずに伝送される。第２モードでは、近距離の撮影レンジＲＮＧ_１～ＲＮＧ_Ｙに対応するスライス画像群ＩＭＧｓ_１～ＩＭＧｓ_Ｙはクロップせずに伝送され、遠距離の撮影レンジＲＮＧ_Ｙ＋１～ＲＮＧ_Ｎに対応するスライス画像群ＩＭＧｓ_Ｙ＋１～ＩＭＧｓ_Ｎがクロップして伝送される。

【0103】

第２モードへの遷移の有無は、第１モードにおいて伝送された複数のスライス画像ＩＭＧｓ_１～ＩＭＧｓ_Ｎのうち、所定距離より遠い撮影レンジ群ＲＮＧ_Ｙ＋１～ＲＮＧ_Ｎに対応する遠方スライス画像群ＩＭＧｓ_Ｙ＋１～ＩＭＧｓ_Ｎにもとづいて決定される。具体的には、遠方スライス画像群ＩＭＧｓ_Ｙ＋１～ＩＭＧｓ_Ｎに単一の注目物体のみが含まれる場合に、第２モードに遷移する。第２モードでは、注目物体を含む部分が注目領域に設定され、注目部分のみがクロップして伝送される。

【0104】

図１４は、ゲーティングカメラ２０におけるモード制御の一例のフローチャートである。はじめに第１モードにセットされる（Ｓ１００）。上述のように、第１モードでは、すべてのスライス画像ＩＭＧｓ_１～ＩＭＧｓ_Ｎが、画像処理部３４に入力される（Ｓ１０２）。

【0105】

画像処理部３４は、遠方スライス画像群ＩＭＧｓ_Ｙ＋１～ＩＭＧｓ_Ｙ＋Ｎに、単一の注目物体（ＯＯＩ：Object Of Interest）のみが含まれる場合に（Ｓ１０４のＹ）、ゲーティングカメラ２０を第２モードに移行させる（Ｓ１０６）。そうでない場合（Ｓ１０４のＮ）、第１モードのまま、処理Ｓ１０２に戻る。

【0106】

たとえば処理Ｓ１０４において、画像処理部３４は、遠距離スライス画像群ＩＭＧｓに注目物体を検出すると、その注目物体の位置を算出し、遠距離撮影レンジＲＮＧ_Ｙ＋１～ＲＮＧ_Ｎに、注目物体以外の物体が存在しないと判定すると、第２モードに遷移してもよい。

【0107】

図１５は、第２モードに遷移する状況の一例を示す図である。ゲーティングカメラ２０は、車両８００に搭載されている。車両８００の前方には、対向車８０２が存在する。対向車は８０２は、遠方レンジＲＮＧ_Ｙ＋１～ＲＮＧ_Ｎに存在する注目物体であり、遠方レンジＲＮＧ_Ｙ＋１～ＲＮＧ_Ｎには対向車８０２以外の注目物体は存在しない。ゲーティングカメラ２０はこのような状況を検出すると、第２モードに移行する。

【0108】

図１４に戻る。第２モード（Ｓ１０６）に移行する際に、処理Ｓ１０４において検出した注目物体を含むＲＯＩのサイズおよび位置が決定される。そして第２モードの間、遠方スライス画像群ＩＭＧｓ_Ｙ＋１～ＩＭＧｓ_ＮについてＲＯＩがクロップされ、注目領域ＲＯＩを含むスライス画像ＩＭＧｓ_Ｙ＋１～ＩＭＧｓ_Ｎが伝送される。

【0109】

なお上述のように、第２モードにおいても、近距離スライス画像ＩＭＧｓ_１～ＩＭＧｓ_Ｙについては、クロップされない元のサイズで伝送される。

【0110】

第１モードへの復帰条件が成立しない間は（Ｓ１０８のＮ）、第２モードが維持される。第１モードへの復帰条件が成立すると（Ｓ１０８のＹ）、第１モードＳ１００に戻る。

【0111】

第１モードへの復帰条件は所定時間の経過であってもよいし、遠距離撮影レンジＲＮＧ_Ｙ＋１～ＲＮＧ_Ｎに複数の注目物体が存在することであってもよいし、遠距離撮影レンジＲＮＧに元の注目物体が存在しなくなったことでもよい。

【0112】

（実施形態３）
図１６は、実施形態３に係るゲーティングカメラ２０Ａのブロック図である。ゲーティングカメラ２０Ａにおいて、照明装置２２は、プローブ光Ｌ１を集光、拡散させることにより、照射範囲を可変に構成される。カメラコントローラ３２は、制御信号Ｓ４によって、照明装置２２の照射範囲を適応的に制御可能となっている。

【0113】

カメラコントローラ３２は、クロップして伝送すべきスライス画像ＩＭＧｓを撮影する際に、照明装置２２にプローブ光Ｌ１を集光させて照射範囲を狭める。

【0114】

たとえばカメラコントローラ３２は、第２モードにおいて、遠距離スライス画像群ＩＭＧｓ_Ｙ＋１～ＩＭＧｓ_Ｎを撮影する際に、プローブ光Ｌ１を集光して、注目領域に集中的に照射する。これにより、照射範囲の照度を高めることができ、鮮明な画像を得ることが可能となる。

【0115】

以上がゲーティングカメラ２０Ａの構成である。続いてその利点を説明する。

【0116】

遠方の撮影レンジを撮影する際には、プローブ光Ｌ１とその反射光Ｌ２の減衰量が大きくなる。したがって１回の露光では、十分な明るさのスライス画像ＩＭＧｓを生成できない場合が生ずる。このような場合、遠方の撮影レンジについては、複数回の露光を行い、露光ごとに得られるスライス画像をコンポジットして、１枚のスライス画像を生成する必要がある。本実施形態では、プローブ光Ｌ１を集光することにより、１回の露光で得られるスライス画像ＩＭＧｓの明るさを明るくできるので、露光の回数、ひいてはスライス画像の伝送の回数を減らすことができる。これにより、撮影時間を短縮できる。

【0117】

（実施形態４）
図１７は、実施形態４に係るゲーティングカメラ２０Ｂのブロック図である。ゲーティングカメラ２０Ｂにおいては、照明装置２２の照射範囲の制御のみを行い、スライス画像の伝送時のクロップは行わない。照明装置２２の制御については、実施形態３と同様である。このゲーティングカメラ２０Ｂによっても、遠方の撮影レンジを撮影する際の、露光の回数を減らすことができ、鮮明なスライス画像を得ることができる。

【0118】

図１８は、実施形態５に係るアクティブセンサ７０のブロック図である。アクティブセンサ７０は、ゲーティングカメラ、ＴｏＦカメラ、ＬＩＤＡＲなどであり、発光装置７２、光センサ７４、コントローラ７６を備える。

【0119】

発光装置７２は、１回のセンシングに際して、複数回、パルス発光する。本実施形態において、発光装置７２の発光タイミングの時間間隔Ｔ_ＩＮＴは不均一となっている。時間間隔Ｔ_ＩＮＴは周期毎にランダムに決定されてもよいし、予め決められたパターンにしたがって変化してもよい。たとえば時間間隔Ｔ_ＩＮＴは、動作周期Ｔｃごとに単調増加してもよいし、単調減少してもよい。

【0120】

発光装置７２の出射光Ｌ１は、対象物ＯＢＪによって反射され、光センサ７４に入射する。反射光Ｌ２は、出射光Ｌ１に対して、τ遅延している。τは、対象物ＯＢＪまでの距離ｚに応じており、式（１）で表される。τを光のラウンドトリップ時間と称する。
τ＝２×ｚ／ｃ …（１）
ｃは光速を表す。

【0121】

光センサ７４は、発光装置７２の発光ごとに、それと同期して、反射光Ｌ１に含まれる各パルスを検出できるように、露光タイミングおよび露光時間が制御される。発光装置７２の発光タイミングと、光センサ７４の露光タイミングは、コントローラ７４によって制御される。

【0122】

発光センサ７４には、発光装置７２の複数回の発光に応じて、物体からの反射光Ｌ２が複数回、入射する。光センサ７４は、複数回にわたり受光した反射光を積算し、積算値に応じた信号を出力する。

【0123】

図１９は、発光装置７２の発光タイミングと、光センサ７４の露光タイミングの関係を示すタイムチャートである。たとえば光センサ７４の露光の開始時刻は、発光装置７２の発光開始時刻から、一定時間Ｔｄ遅延していてもよい。時間差Ｔｄの決め方は、アクティブセンサ７０の種類、方式に応じており、たとえば撮影したい対象物までのラウンドトリップ時間τにもとづいて決定してもよい。露光時間Ｔｅは、発光装置７２の発光時間（パルス幅）Ｔｐと同一であってもよいし、それより長くてもよい。

【0124】

発光装置７２の１回の発光と光センサの１回の露光を含む１回のセンシングは、所定周期Ｔｃで繰り返し行われてもよい。この場合に、センシングごとに、所定周期Ｔｃ内における発光装置７２の発光タイミング（周期Ｔｃの先頭から発光までの時間Ｔｘ）が変化してもよい。ｉ番目とｉ＋１番目の発光タイミングの時間間隔Ｔ_ＩＮＴｉは、式（２）で表される。
Ｔ_ＩＮＴｉ＝Ｔｃ＋Ｔｘ_ｉ＋１－Ｔｘ_ｉ …（２）

【0125】

以上がアクティブセンサ７０の構成である。続いてその動作を説明する。

【0126】

アクティブセンサ７０の利点を明確とするため、比較技術について先に説明する。比較技術では、一定の時間間隔で発光装置が発光し、光センサの露光も一定の時間間隔で行われる。図２０は、比較技術に係るアクティブセンサの動作波形図である。いま、アクティブセンサの近傍に、動作周期Ｔｃの整数倍、あるいは整数分の１倍の周期Ｔｃ’でパルス発光するで別の光源が存在しているとする。図２０では、この別の光源の光を外乱光Ｌ３として示しており、この例では、外乱光の発光周期Ｔｃ’は、アクティブセンサの動作周期Ｔｃと等しいものとする。

【0127】

外乱光Ｌ３の各パルスが、露光期間Ｔｅに含まれると、アクティブセンサのセンシングに影響する。比較技術では発光装置７２の発光期間Ｔ_ＩＮＴが一定（Ｔｃ）であり、したがって露光タイミングの間隔も、一定（Ｔｃ）となっている。

【0128】

そのため、外乱光Ｌ３の各パルスは、常に露光時間Ｔｅに含まれることとなり、その影響が積算され、大きな誤差となって現れる。図２０では、誤差成分がハッチングで示される。

【0129】

転じて実施形態５に係るアクティブセンサ７０の動作を説明する。図２１は、図１８のアクティブセンサ７０の動作波形図である。

【0130】

上述のように、外乱光Ｌ３の各パルスが、露光期間Ｔｅに含まれると、アクティブセンサ７０のセンシングに影響する。本実施形態では、発光装置７２の発光期間Ｔ_ＩＮＴが不均一であり、したがって露光開始時間が、動作周期Ｔｃごとに異なっている。そのため、外乱光Ｌ３の各パルスは、露光時間Ｔｅに含まれたり含まれなかったりする。図２０の例では外乱光Ｌ３の先頭のパルスは誤検出されるが、後続するパルスは、露光期間から外れているため、誤検出されない。したがって外乱光Ｌ３の影響を低減でき、高精度な検出が可能となる。

【0131】

続いてアクティブセンサ７０の用途を説明する。アクティブセンサ７０の一実施例は、ゲーティングカメラである。

【0132】

図２２は、一実施例に係るゲーティングカメラ２０のブロック図である。ゲーティングカメラ２０は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ_１～ＲＮＧ_Ｎに区切って撮像を行う。

【0133】

ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、カメラコントローラ２６、画像処理部２８を備える。照明装置２２は図１８の発光装置７２に対応し、イメージセンサ２４は図１８の光センサ７４に対応し、カメラコントローラ２６は図１８のコントローラ７６に対応する。

【0134】

照明装置２２は、カメラコントローラ２６から与えられる発光タイミング信号Ｓ１と同期して、複数個のパルスを含むプローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。上述のように、パルスの時間間隔は不均一となっている。

【0135】

イメージセンサ２４は、カメラコントローラ２６から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、スライス画像ＩＭＧを生成可能に構成される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。

【0136】

カメラコントローラ２６は、レンジＲＮＧごとに予め定められた発光タイミングと露光タイミングを保持している。カメラコントローラ２６は、あるレンジＲＮＧ_ｉを撮影するとき、そのレンジに対応する発光タイミングと露光タイミングにもとづいて発光タイミング信号Ｓ１および露光タイミング信号Ｓ２を生成し、撮影を行う。ゲーティングカメラ２０は、複数のレンジＲＮＧ_１～ＲＮＧ_Ｎに対応する複数のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎを生成することができる。ｉ番目のスライス画像ＩＭＧ_ｉには、対応するレンジＲＮＧ_ｉに含まれる物体が写ることとなる。

【0137】

図２３は、ゲーティングカメラ２０の動作を説明する図である。図２３にはｉ番目のレンジＲＮＧ_ｉを測定するときの様子が示される。照明装置２２は、発光タイミング信号Ｓ１と同期して、時刻ｔ_０～ｔ_１の間の発光期間τ_１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧ_ｉの手前の境界までの距離をｄ_{ＭＩＮｉ、}レンジＲＮＧ_ｉの奥側の境界までの距離をｄ_ＭＡＸｉとする。

【0138】

ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＩＮｉは、
Ｔ_ＭＩＮｉ＝２×ｄ_ＭＩＮｉ／ｃ
である。ｃは光速である。

【0139】

同様に、ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＡＸｉは、
Ｔ_ＭＡＸｉ＝２×ｄ_ＭＡＸｉ／ｃ
である。

【0140】

レンジＲＮＧ_ｉに含まれる物体ＯＢＪを撮影したいとき、カメラコントローラ２６は、時刻ｔ_２＝ｔ_０＋Ｔ_ＭＩＮｉに露光を開始し、時刻ｔ_３＝ｔ_１＋Ｔ_ＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回の露光動作である。

【0141】

ｉ番目のレンジＲＮＧ_ｉを撮影する際には、複数回の発光と露光を繰り返し行い、イメージセンサ２４において測定結果を積算する。

【0142】

図２４（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。図２４（ａ）の例では、レンジＲＮＧ_１に物体（歩行者）ＯＢＪ_１が存在し、レンジＲＮＧ_３に物体（車両）ＯＢＪ_３が存在している。図２４（ｂ）には、図２４（ａ）の状況で得られる複数のスライス画像ＩＭＧ_１～ＩＭＧ_３が示される。スライス画像ＩＭＧ_１を撮影するとき、イメージセンサはレンジＲＮＧ_１からの反射光のみにより露光されるため、スライス画像ＩＭＧ_１には、歩行者ＯＢＪ_１の物体像ＯＢＪ_１が写る。

【0143】

スライス画像ＩＭＧ_２を撮影するとき、イメージセンサはレンジＲＮＧ_２からの反射光により露光され、したがってスライス画像ＩＭＧ_２には、いかなる物体像も写らない。

【0144】

同様にスライス画像ＩＭＧ_３を撮影するとき、イメージセンサはレンジＲＮＧ_３からの反射光により露光されるため、スライス画像ＩＭＧ_３には、物体像ＯＢＪ_３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。

【0145】

以上がゲーティングカメラ２０の動作である。このゲーティングカメラにおいて、照明装置２２の発光の時間間隔を不均一化することにより、周囲のパルス光源の影響を低減でき、ノイズ成分の少ない鮮明な画像を得ることができる。

【0146】

実施形態３に関連する変形例を説明する。

【0147】

（変形例１）
発光装置７２のパルス発光の時間間隔Ｔ_ＩＮＴを変化させる方法は、図１９のそれに限定されない。たとえば、Ｔｘを一定として、動作周期Ｔｃを、サイクル毎に変化させてもよい。

【0148】

（変形例２）
アクティブセンサ７０は、ゲーティングカメラに限定されず、ＴＯＦ（Time Of Flight）カメラであってもよいし、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）であってもよい。

【0149】

図２５は、ゲーティングカメラ２０あるいはアクティブセンサ７０（以下、ゲーティングカメラとして説明する）を内蔵する車両用灯具２００を示す図である。車両用灯具２００は、筐体２１０、アウターレンズ２２０、ハイビームおよびロービームの灯具ユニット２３０Ｈ／２３０Ｌおよびゲーティングカメラ２０を備える。灯具ユニット２３０Ｈ／２３０Ｌおよびゲーティングカメラ２０は、筐体２１０に収容されている。

【0150】

なお、ゲーティングカメラ２０の一部、たとえばイメージセンサ２４は、車両用灯具２００の外部、たとえばルームミラーの裏側に設置してもよい。

【0151】

図２６は、物体識別システム１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体識別システム１０が設けられる。物体識別システム１０は、ゲーティングカメラ２０（またはアクティブセンサ７０）および演算処理装置４０を含む。

【0152】

演算処理装置４０は、ゲーティングカメラ２０によって得られる複数の撮影レンジＲＮＧ_１～ＲＮＧ_Ｎに対応する複数のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎにもとづいて、物体の種類を識別可能に構成される。演算処理装置４０は、機械学習によって生成された予測モデルにもとづいて実装される分類器を備える。分類器のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。

【0153】

演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０はハードウェアのみで構成してもよい。

【0154】

物体識別システム１０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、物体識別システム１０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。

【0155】

また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵ３０４は、この情報を、自動運転あるいは運転支援に利用してもよい。

【0156】

実施形態にもとづき、具体的な語句を用いて本発明を説明したが、実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

【産業上の利用可能性】

【0157】

本発明は、ゲーティングカメラに関する。

【符号の説明】

【0158】

１０ 物体識別システム
２０ ゲーティングカメラ
２２ 照明装置
２４ イメージセンサ
２６ カメラコントローラ
２８ 画像処理部
Ｓ１ 発光タイミング信号
Ｓ２ 露光タイミング信号
４０ 演算処理装置
７０ アクティブセンサ
７２ 発光装置
７４ 光センサ
７６ コントローラ
２００ 車両用灯具
２１０ 筐体
２２０ アウターレンズ
２３０ 灯具ユニット２３０
３１０ 灯具システム
３０４ 車両側ＥＣＵ
２００ 車両用灯具
２０２ 光源
２０４ 点灯回路
２０６ 光学系
３１０ 灯具システム
３０４ 車両側ＥＣＵ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】