特開 2024-68423 センシングシステム、センシング制御装置、及び、センシング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024068423

(43)【公開日】2024-05-20

(54)【発明の名称】センシングシステム、センシング制御装置、及び、センシング方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240513BHJP

   H04N 23/56 20230101ALI20240513BHJP

   G01S 17/86 20200101ALI20240513BHJP

   G03B 15/00 20210101ALI20240513BHJP

   G03B 15/02 20210101ALI20240513BHJP

   G03B 15/03 20210101ALI20240513BHJP

   G03B 15/05 20210101ALI20240513BHJP

   G03B 30/00 20210101ALI20240513BHJP

【ＦＩ】

H04N5/232

H04N5/225 600

G01S17/86

G03B15/00 V

G03B15/02 V

G03B15/03 X

G03B15/05

G03B30/00

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2022178860

(22)【出願日】2022-11-08

(71)【出願人】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】小曽根 卓義

(72)【発明者】

【氏名】茅島 誠治

【テーマコード（参考）】

2H053

5C122

5J084

【Ｆターム（参考）】

2H053AA08

2H053AD03

2H053BA25

5C122DA11

5C122DA14

5C122EA52

5C122FC02

5C122FC07

5C122GG01

5C122GG21

5J084AA04

5J084AA05

5J084AA13

5J084AC02

5J084AD05

5J084BA04

5J084BA07

5J084BA20

5J084BA34

5J084BA36

5J084BA40

5J084CA65

5J084CA67

(57)【要約】

【課題】ローリングシャッタ方式の撮像部を用いる場合に、発光部の利用効率を向上させる。
【解決手段】センシングシステムは、ライン毎に露光を制御するローリングシャッタ方式の第１の撮像部と、照射範囲が前記第１の撮像部の撮像範囲の少なくとも一部と重なり、ライン毎に発光タイミングを制御可能な第１の発光部と、前記第１の撮像部及び前記第１の発光部を統合的に制御する制御部とを備える。本技術は、例えば、車両のセンシングシステムに適用できる。
【選択図】図６

【特許請求の範囲】

【請求項1】

ライン毎に露光を制御するローリングシャッタ方式の第１の撮像部と、
照射範囲が前記第１の撮像部の撮像範囲の少なくとも一部と重なり、ライン毎に発光タイミングを制御可能な第１の発光部と、
前記第１の撮像部及び前記第１の発光部を統合的に制御する制御部と
を備えるセンシングシステム。

【請求項2】

前記制御部は、前記第１の撮像部の露光タイミング及び前記第１の発光部の発光タイミングのうち一方に基づいて、他方を制御する
請求項１に記載のセンシングシステム。

【請求項3】

前記制御部は、前記第１の撮像部の各ラインの露光タイミング及び前記第１の発光部の各ラインの発光タイミングのうち一方に合わせて、他方を制御する
請求項２に記載のセンシングシステム。

【請求項4】

前記制御部は、前記第１の撮像部の各ラインの露光期間において、前記第１の撮像部の各ラインに対応する前記第１の発光部のラインを所定の長さの期間発光させる
請求項３に記載のセンシングシステム。

【請求項5】

複数の受光素子が複数のラインに並べられたセンシング部を
さらに備え、
前記制御部は、前記第１の撮像部の露光期間以外の期間である非露光期間に、前記センシング部用に前記第１の発光部を第１のパターンで発光させる
請求項１に記載のセンシングシステム。

【請求項6】

前記制御部は、前記第１の撮像部のライン毎の前記非露光期間に合わせて、前記第１の発光部の発光タイミングをライン毎に制御する
請求項５に記載のセンシングシステム。

【請求項7】

前記制御部は、前記第１の撮像部の前記非露光期間に、前記第１の発光部の複数のラインを同時に発光させる
請求項５に記載のセンシングシステム。

【請求項8】

前記制御部は、前記第１の撮像部の露光期間において、第２の発光パターンで前記第１の発光部を発光させる
請求項５に記載のセンシングシステム。

【請求項9】

前記センシング部の各前記受光素子は、前記第１の発光部により発光された光の反射光を受光する
請求項５に記載のセンシングシステム。

【請求項10】

前記第１の撮像部、前記センシング部、及び、前記制御部が、１つのモジュールに設けられる
請求項５に記載のセンシングシステム。

【請求項11】

ライン毎に露光を制御するローリングシャッタ方式の第２の撮像部と、
照射範囲が前記第２の撮像部の撮像範囲の少なくとも一部と重なり、ライン毎に発光タイミングを制御可能な第２の発光部と
をさらに備え、
前記制御部は、前記第１の撮像部、前記第１の発光部、前記第２の撮像部、及び、前記第２の発光部を統合的に制御する
請求項１に記載のセンシングシステム。

【請求項12】

前記制御部は、前記第１の撮像部の露光期間以外の期間である非露光期間において、前記第２の撮像部を露光させ、前記第２の発光部を発光させる
請求項１１に記載のセンシングシステム。

【請求項13】

前記制御部は、前記第１の撮像部の各ラインの前記非露光期間に合わせて、前記第２の撮像部の各ラインを露光させ、前記第２の発光部の各ラインを発光させる
請求項１２に記載のセンシングシステム。

【請求項14】

前記制御部は、前記第２の撮像部の前記非露光期間において、前記第１の撮像部を露光させ、前記第１の発光部を発光させる
請求項１３に記載のセンシングシステム。

【請求項15】

前記制御部は、前記第２の撮像部の各ラインの前記非露光期間に合わせて、前記第１の撮像部の各ラインを露光させ、前記第１の発光部の各ラインを発光させる
請求項１４に記載のセンシングシステム。

【請求項16】

前記第１の撮像部、前記第１の発光部、及び、前記制御部は、車両に設けられる
請求項１に記載のセンシングシステム。

【請求項17】

ライン毎に露光を制御するローリングシャッタ方式の撮像部、及び、照射範囲が前記撮像部の撮像範囲の少なくとも一部と重なり、ライン毎に発光タイミングを制御可能な発光部を統合的に制御する制御部を
備えるセンシング制御装置。

【請求項18】

ライン毎に露光を制御するローリングシャッタ方式の撮像部、及び、照射範囲が前記撮像部の撮像範囲の少なくとも一部と重なり、ライン毎に発光タイミングを制御可能な発光部を統合的に制御する
センシング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、センシングシステム、センシング制御装置、及び、センシング方法に関し、特に、ローリングシャッタ方式の撮像部を用いる場合に用いて好適なセンシングシステム、センシング制御装置、及び、センシング方法に関する。

【背景技術】

【0002】

近年、車両の周囲を監視するためにカメラやＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）等の各種のセンサが車両に設けられる。そのようなセンサの１つとして、例えば、回転式のＬｉＤＡＲとローリングシャッタ方式のカメラを組み合わせた装置が提案されている（例えば、特許文献１参照）。

【0003】

また、夜間等の周囲が暗い環境下でセンシング能力を向上させるために、赤外線を検出可能な撮像素子を備える撮像部、及び、ＩＲ（Infrared）光からなる照明光を発光可能な発光部を備える赤外線カメラが用いられる場合がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１０５６１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、赤外線カメラの撮像素子がローリングシャッタ方式である場合、発光部を常時発光させると、撮像素子の各ラインの露光期間以外の期間（以下、非露光期間と称する）においても照明光が照射される。そのため、発光部（照明光）の利用効率が低下するとともに、消費電力が増大する。

【0006】

一方、発光部の利用効率を向上させるために、単純に発光部の露光期間を短縮すると、撮像素子の各ラインの露光期間がずれているため、撮像素子の各ラインの露光期間に照明光が照射される時間にバラつきが生じる。これにより、例えば、撮像された画像に横縞等のノイズが生じるおそれがある。

【0007】

本技術は、このような状況に鑑みてなされたものであり、ローリングシャッタ方式の撮像部を用いる場合に、発光部の利用効率を向上させるようにするものである。

【課題を解決するための手段】

【0008】

本技術の第１の側面のセンシングシステムは、ライン毎に露光を制御するローリングシャッタ方式の第１の撮像部と、照射範囲が前記第１の撮像部の撮像範囲の少なくとも一部と重なり、ライン毎に発光タイミングを制御可能な第１の発光部と、前記第１の撮像部及び前記第１の発光部を統合的に制御する制御部とを備える。

【0009】

本技術の第２の側面のセンシング制御装置は、ライン毎に露光を制御するローリングシャッタ方式の撮像部、及び、照射範囲が前記撮像部の撮像範囲の少なくとも一部と重なり、ライン毎に発光タイミングを制御可能な発光部を統合的に制御する制御部を備える。

【0010】

本技術の第２の側面のセンシング方法は、ライン毎に露光を制御するローリングシャッタ方式の撮像部、及び、照射範囲が前記撮像部の撮像範囲の少なくとも一部と重なり、ライン毎に発光タイミングを制御可能な発光部を統合的に制御する。

【0011】

本技術の第１の側面においては、ライン毎に露光を制御するローリングシャッタ方式の第１の撮像部と、照射範囲が前記第１の撮像部の撮像範囲の少なくとも一部と重なり、ライン毎に発光タイミングを制御可能な第１の発光部とが、統合的に制御される。

【0012】

本技術の第２の側面においては、ライン毎に露光を制御するローリングシャッタ方式の撮像部、及び、照射範囲が前記撮像部の撮像範囲の少なくとも一部と重なり、ライン毎に発光タイミングを制御可能な発光部が統合的に制御される。

【図面の簡単な説明】

【0013】

【図1】車両制御システムの構成例を示すブロック図である。

【図2】センシング領域の例を示す図である。

【図3】グローバルシャッタ方式の撮像素子の１フレーム期間における露光タイミングと発光タイミングとの関係の例を示している。

【図4】ローリングシャッタ方式の撮像素子の１フレーム期間における露光タイミングと発光タイミングとの関係の例を示している。

【図5】ローリングシャッタ方式の撮像素子の１フレーム期間における露光タイミングと発光タイミングとの関係の他の例を示している。

【図6】本技術を適用したセンシングシステムの第１の実施の形態のブロック図である。

【図7】ＶＣＳＥＬの構成例を示している。

【図8】発光部の走査方法を示す図である。

【図9】図６のセンシングシステムの動作例を示すタイミングチャートである。

【図10】カメラとＬｉＤＡＲの設置位置の例を示す図である。

【図11】本技術を適用したセンシングシステムの第２の実施の形態のブロック図である。

【図12】センシングユニットのハードウエアの構成例を示す図である。

【図13】図１１のセンシングシステムの設置位置の例を示す図である。

【図14】図１１のセンシングシステムの動作例を示すタイミングチャートである。

【図15】本技術を適用したセンシングシステムの第３の実施の形態のブロック図である。

【図16】図１５のセンシングシステムの撮像部の撮像範囲の例を示す図である。

【図17】図１５のセンシングシステムの動作例を示すタイミングチャートである。

【発明を実施するための形態】

【0014】

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．車両制御システムの構成例
２．本技術の背景
３．第１の実施の形態
４．第２の実施の形態
５．第３の実施の形態
６．変形例
７．その他

【0015】

＜＜１．車両制御システムの構成例＞＞
図１は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。

【0016】

車両制御システム１１は、車両１に設けられ、車両１の走行支援及び自動運転に関わる処理を行う。

【0017】

車両制御システム１１は、車両制御ＥＣＵ（Electronic Control Unit）２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ＤＭＳ（Driver Monitoring System）３０、ＨＭＩ（Human Machine Interface）３１、及び、車両制御部３２を備える。

【0018】

車両制御ＥＣＵ２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ドライバモニタリングシステム（ＤＭＳ）３０、ヒューマンマシーンインタフェース（ＨＭＩ）３１、及び、車両制御部３２は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク４１は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してＣＡＮが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば近距離無線通信（ＮＦＣ（Near Field Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。

【0019】

なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、車両制御ＥＣＵ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単に車両制御ＥＣＵ２１と通信部２２とが通信を行うと記載する。

【0020】

車両制御ＥＣＵ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）といった各種のプロセッサにより構成される。車両制御ＥＣＵ２１は、車両制御システム１１全体又は一部の機能の制御を行う。

【0021】

通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部２２は、複数の通信方式を用いて通信を行うことができる。

【0022】

通信部２２が実行可能な車外との通信について、概略的に説明する。通信部２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated Short Range Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部２２が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。

【0023】

また例えば、通信部２２は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、ＭＴＣ（Machine Type Communication）端末である。さらに、通信部２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Vehicle to Vehicle）通信、路側器等との間の路車間（Vehicle to Infrastructure）通信、家との間（Vehicle to Home）の通信、及び、歩行者が所持する端末等との間の歩車間（Vehicle to Pedestrian）通信等の、自車と他との通信をいう。

【0024】

通信部２２は、例えば、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる（Over The Air)。通信部２２は、さらに、地図情報、交通情報、車両１の周囲の情報等を外部から受信することができる。また例えば、通信部２２は、車両１に関する情報や、車両１の周囲の情報等を外部に送信することができる。通信部２２が外部に送信する車両１に関する情報としては、例えば、車両１の状態を示すデータ、認識部７３による認識結果等がある。さらに例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。

【0025】

例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Vehicle Information and Communication System）（登録商標））により送信される電磁波を受信する。

【0026】

通信部２２が実行可能な車内との通信について、概略的に説明する。通信部２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Wireless USB）といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部２２は、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、ＭＨＬ（Mobile High-definition Link）といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。

【0027】

ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。

【0028】

地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。

【0029】

高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から車両１に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、ＡＤＡＳ（Advanced Driver Assistance System）やＡＤ（Autonomous Driving）に適合させた地図である。

【0030】

ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ５１、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。

【0031】

位置情報取得部２４は、ＧＮＳＳ（Global Navigation Satellite System）衛星からＧＮＳＳ信号を受信し、車両１の位置情報を取得する。取得した位置情報は、走行支援・自動運転制御部２９に供給される。なお、位置情報取得部２４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。

【0032】

外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。

【0033】

例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）５３、及び、超音波センサ５４を備える。これに限らず、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。

【0034】

なお、カメラ５１の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ５１に適用することができる。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。

【0035】

また、例えば、外部認識センサ２５は、車両１に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。

【0036】

さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。

【0037】

車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。

【0038】

例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち１種類以上のセンサを備えることができる。車内センサ２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。

【0039】

車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。

【0040】

例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ（Inertial Measurement Unit））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。

【0041】

記憶部２８は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部２８は、例えばＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)及びＲＡＭ(Random Access Memory)として用いられ、記憶媒体としては、ＨＤＤ（Hard Disc Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部２８は、車両制御システム１１の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部２８は、ＥＤＲ（Event Data Recorder）やＤＳＳＡＤ（Data Storage System for Automated Driving）を備え、事故等のイベントの前後の車両１の情報や車内センサ２６によって取得された情報を記憶する。

【0042】

走行支援・自動運転制御部２９は、車両１の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部２９は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。

【0043】

分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。

【0044】

自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。

【0045】

ローカルマップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy Grid Map）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。

【0046】

なお、自己位置推定部７１は、位置情報取得部２４により取得される位置情報、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。

【0047】

センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。

【0048】

認識部７３は、車両１の外部の状況の検出を行う検出処理、及び、車両１の外部の状況の認識を行う認識処理を実行する。

【0049】

例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。

【0050】

具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。

【0051】

例えば、認識部７３は、レーダ５２又はＬｉＤＡＲ５３等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。

【0052】

例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。

【0053】

例えば、認識部７３は、カメラ５１から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部７３は、セマンティックセグメンテーション等の認識処理を行うことにより、車両１の周囲の物体の種類を認識してもよい。

【0054】

例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置推定部７１による自己位置の推定結果、及び、認識部７３による車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行うことができる。認識部７３は、この処理により、信号機の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。

【0055】

例えば、認識部７３は、車両１の周囲の環境の認識処理を行うことができる。認識部７３が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。

【0056】

行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。

【0057】

なお、経路計画（Global path planning）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成（Local path planning）を行う処理も含まれる。

【0058】

経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度と目標角速度を計算することができる。

【0059】

動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。

【0060】

例えば、動作制御部６３は、後述する車両制御部３２に含まれる、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部６３は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。

【0061】

ＤＭＳ３０は、車内センサ２６からのセンサデータ、及び、後述するＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。

【0062】

なお、ＤＭＳ３０が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。

【0063】

ＨＭＩ３１は、各種のデータや指示等の入力と、各種のデータの運転者等への提示を行う。

【0064】

ＨＭＩ３１によるデータの入力について、概略的に説明する。ＨＭＩ３１は、人がデータを入力するための入力デバイスを備える。ＨＭＩ３１は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。ＨＭＩ３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、ＨＭＩ３１は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ３１は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。

【0065】

ＨＭＩ３１によるデータの提示について、概略的に説明する。ＨＭＩ３１は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、ＨＭＩ３１は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。ＨＭＩ３１は、視覚情報として、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成及び出力する。また、ＨＭＩ３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、ＨＭＩ３１は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成及び出力する。

【0066】

ＨＭＩ３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ３１は、車両１に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera Monitoring System）、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。

【0067】

ＨＭＩ３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。

【0068】

ＨＭＩ３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両１の搭乗者が接触する部分に設けられる。

【0069】

車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。

【0070】

ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うステアリングＥＣＵ、ステアリングシステムの駆動を行うアクチュエータ等を備える。

【0071】

ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Antilock Brake System）、回生ブレーキ機構等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うブレーキＥＣＵ、ブレーキシステムの駆動を行うアクチュエータ等を備える。

【0072】

駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行う駆動ＥＣＵ、駆動システムの駆動を行うアクチュエータ等を備える。

【0073】

ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うボディ系ＥＣＵ、ボディ系システムの駆動を行うアクチュエータ等を備える。

【0074】

ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うライトＥＣＵ、ライトの駆動を行うアクチュエータ等を備える。

【0075】

ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うホーンＥＣＵ、カーホーンの駆動を行うアクチュエータ等を備える。

【0076】

図２は、図１の外部認識センサ２５のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４等によるセンシング領域の例を示す図である。なお、図２において、車両１を上面から見た様子が模式的に示され、左端側が車両１の前端（フロント）側であり、右端側が車両１の後端（リア）側となっている。

【0077】

センシング領域１０１Ｆ及びセンシング領域１０１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１０１Ｆは、複数の超音波センサ５４によって車両１の前端周辺をカバーしている。センシング領域１０１Ｂは、複数の超音波センサ５４によって車両１の後端周辺をカバーしている。

【0078】

センシング領域１０１Ｆ及びセンシング領域１０１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられる。

【0079】

センシング領域１０２Ｆ乃至センシング領域１０２Ｂは、短距離又は中距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０２Ｆは、車両１の前方において、センシング領域１０１Ｆより遠い位置までカバーしている。センシング領域１０２Ｂは、車両１の後方において、センシング領域１０１Ｂより遠い位置までカバーしている。センシング領域１０２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域１０２Ｒは、車両１の右側面の後方の周辺をカバーしている。

【0080】

センシング領域１０２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域１０２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられる。センシング領域１０２Ｌ及びセンシング領域１０２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出等に用いられる。

【0081】

センシング領域１０３Ｆ乃至センシング領域１０３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域１０３Ｆは、車両１の前方において、センシング領域１０２Ｆより遠い位置までカバーしている。センシング領域１０３Ｂは、車両１の後方において、センシング領域１０２Ｂより遠い位置までカバーしている。センシング領域１０３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域１０３Ｒは、車両１の右側面の周辺をカバーしている。

【0082】

センシング領域１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域１０３Ｂにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域１０３Ｌ及びセンシング領域１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。

【0083】

センシング領域１０４は、ＬｉＤＡＲ５３のセンシング領域の例を示している。センシング領域１０４は、車両１の前方において、センシング領域１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０４は、センシング領域１０３Ｆより左右方向の範囲が狭くなっている。

【0084】

センシング領域１０４におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。

【0085】

センシング領域１０５は、長距離用のレーダ５２のセンシング領域の例を示している。
センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。

【0086】

センシング領域１０５におけるセンシング結果は、例えば、ＡＣＣ（Adaptive Cruise Control）、緊急ブレーキ、衝突回避等に用いられる。

【0087】

なお、外部認識センサ２５が含むカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の各センサのセンシング領域は、図２以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５３が車両１の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでもよいし、複数であってもよい。

【0088】

＜＜２．本技術の背景＞＞
次に、図３乃至図５を参照して、本技術の背景について説明する。

【0089】

車両１においては、例えば、カメラ５１や車内センサ２６のカメラの撮像に合わせて、撮像範囲にＩＲ（Infrared）光等からなる照明光が照射される。

【0090】

図３は、全ての画素の露光（スキャン）が同時に行われるグローバルシャッタ方式の撮像素子をカメラが備える場合に、１フレーム期間における撮像素子の露光タイミングと照明光の発光タイミングとの関係の例を示している。図内の横軸は時刻を示し、縦軸は撮像素子のラインを示している。

【0091】

例えば、時刻ｔ１ａから時刻ｔ４ａまでの期間において、撮像素子の全画素の露光が同時に行われる。

【0092】

これに対して、例えば、露光期間の間の時刻ｔ２ａから時刻ｔ３ａまでの期間において、カメラの撮像範囲に対して照明光が照射される。これにより、撮像素子の全ての画素の撮像範囲に対して、ほぼ均一に照明光が照射される。

【0093】

この例では、照明光の照射期間が短くなるため、照明光による消費電力が小さくなる。また、各画素の露光期間において照明光の照射期間が占める比率が高くなるため、太陽光が照射されるシーンにおいても、照明光の効果が十分に発揮される。さらに、ローリングシャッタ歪みが発生しない。

【0094】

一方、グローバルシャッタの撮像素子が高価であるため、カメラのコストが高くなる。

【0095】

そのため、ライン毎に露光を制御するローリングシャッタ方式の撮像素子が、ローリングシャッタ歪みが発生するものの、よく用いられる。

【0096】

図４は、ローリングシャッタ方式の撮像素子をカメラが備える場合に、１フレーム期間における撮像素子の露光タイミングと照明光の発光タイミングとの関係の例を示している。図内の横軸は時刻を示し、縦軸は撮像素子のラインを示している。

【0097】

図４のＡの例において、例えば、時刻ｔ１ｂから時刻ｔ２ｂまでの期間において、撮像素子の先頭ラインの露光が行われる。その後、撮像素子の２番目のラインから最終ラインまで各ラインの露光が少しずつ時間をシフトしながら順に行われる。そして、時刻ｔ５ｂから時刻ｔ６ｂまでの期間において、撮像素子の最終ラインの露光が行われる。

【0098】

これに対して、例えば、時刻ｔ３ｂから時刻ｔ４ｂまでの期間において、カメラの撮像範囲に対して照明光が照射される。

【0099】

この場合、一部の画素の露光期間中のみ照明光が照射される。そのため、撮像された画像において、照明光による横縞が発生する。

【0100】

これに対して、例えば、図４のＢに示されるように、撮像素子のフレームレートが短くされるとともに、各画素の露光期間が長くされる。具体的には、例えば、時刻ｔ１ｃから時刻ｔ３ｃまでの期間において、撮像素子の先頭ラインの露光が行われる。この露光期間は、図４のＡの露光期間より長く設定される。その後、撮像素子の２番目のラインから最終ラインまで各ラインの露光が少しずつ時間をシフトしながら順に行われる。そして、時刻ｔ２ｃから時刻ｔ４ｃまでの期間において、撮像素子の最終ラインの露光が行われる。なお、最終ラインの露光は、先頭ラインの露光が終了する時刻ｔ３ｃより前の時刻ｔ２ｃにおいて開始される。

【0101】

これに対して、例えば、時刻ｔ２ｃから時刻ｔ３ｃまでの期間において、カメラの撮像範囲に対して照明光が照射される。すなわち、撮像素子の全ての画素が露光している期間において、照明光が照射される。これにより、撮像素子の全ての画素の撮像範囲に対して、ほぼ均一に照明光が照射される。

【0102】

この例では、照明光の照射期間が短くなるため、照明光による消費電力が小さくなる。

【0103】

一方、照明光の効果が低下する。すなわち、各画素の露光期間において照明光の照射期間が占める比率が低くなるため、例えば、太陽光が照射されるシーンにおいて、照明光の効果がほとんど発揮されなくなる。

【0104】

図５は、ローリングシャッタ方式の撮像素子をカメラが備える場合に、１フレーム期間における撮像素子の露光タイミングと照明光の発光タイミングとの関係の他の例を示している。図内の横軸は時刻を示し、縦軸は撮像素子のラインを示している。

【0105】

例えば、時刻ｔ１ｄから時刻ｔ２ｄまでの期間において、撮像素子の先頭ラインの露光が行われる。その後、撮像素子の２番目のラインから最終ラインまで各ラインの露光が少しずつ時間をシフトしながら順に行われる。そして、時刻ｔ３ｄから時刻ｔ４ｄまでの期間において、撮像素子の最終ラインの露光が行われる。

【0106】

これに対して、例えば、カメラの撮像範囲に対して照明光が常時照射される。これにより、撮像素子の全ての画素の撮像範囲に対して、ほぼ均一に照明光が照射される。

【0107】

この例では、照明光の効果が向上する。すなわち、各画素の露光期間において照明光の照射期間が占める比率が高くなるため、例えば、太陽光が照射されるシーンにおいても、照明光の効果が十分に発揮される。

【0108】

一方、照明光の照射期間が長くなるため、照明光による消費電力が大きくなる。

【0109】

これに対して、本技術は、ローリングシャッタ方式の撮像部を用いる場合に、発光部の利用効率を向上させるようにするものである。例えば、本技術は、発光部の消費電力を抑制しつつ、発光部の効果を向上させるようにするものである。

【0110】

＜＜３．第１の実施の形態＞＞
次に、図６乃至図９を参照して、本技術の第１の実施の形態について説明する。

【0111】

＜センシングシステム２０１の構成例＞
図６は、本技術を適用したセンシングシステム２０１の構成例を示している。

【0112】

センシングシステム２０１は、車両１に適用可能である。センシングシステム２０１は、センシングユニット２１１及び発光部２１２を備える。

【0113】

センシングユニット２１１は、撮像部２２１及び制御部２２２を備える。

【0114】

撮像部２２１は、例えば、ＰＤ（Photo Diode）等の受光素子を含む画素が２次元に配置されたローリングシャッタ方式の撮像素子２２１Ａを備える。

【0115】

制御部２２２は、撮像部２２１及び発光部２１２を統合的に制御する。例えば、制御部２２２は、撮像部２２１の撮像タイミング及び発光部２１２の発光タイミングを統合的に制御する。

【0116】

発光部２１２は、例えば、ライン方向（水平方向）及びコラム方向（垂直方向）の２次元に発光素子（光源）が並べられ、発光素子毎に発光を制御することが可能である。例えば、図７に示されるように、発光部２１２は、ＶＣＳＥＬ（Vertical Cavity Surface Emitting Laser，垂直共振器型面発光レーザ）により構成される。

【0117】

具体的には、発光部２１２は、基板２４１及び複数の発光素子２４２を備える。発光素子２４２は、基板２４１上に２次元に配列されている。各発光素子２４２は、基板２４１に対して垂直方向にＩＲ光であるレーザ光（以下、照明光と称する）を出射する。

【0118】

これにより、例えば、図８に示されるように、発光部２１２は、ライン方向（水平方向）に延びる照明光を垂直方向に走査することが可能である。

【0119】

発光部２１２は、撮像部２２１の撮像方向に照明光を照射する。従って、撮像部２２１の撮像範囲と発光部２１２の照射範囲とは、少なくとも一部が重なる。なお、発光部２１２の照射範囲は、撮像部２２１の撮像範囲とほぼ同じ、又は、撮像範囲を含むようにすることが望ましい。

【0120】

＜センシングシステム２０１の動作例＞
次に、図９のタイミングチャートを参照して、センシングシステム２０１の動作例について説明する。図９の横軸は時刻を示し、縦軸は撮像素子２２１Ａ及び発光部２１２のラインを示している。

【0121】

例えば、時刻ｔ１ｅから時刻ｔ４ｅまでの期間において、撮像素子２２１Ａの先頭ラインの露光が行われる。その後、撮像素子２２１Ａの２番目のラインから最終ラインまで各ラインの露光が少しずつ時間をシフトしながら順に行われる。そして、時刻ｔ５ｅから時刻ｔ８ｅまでの期間において、撮像素子２２１Ａの最終ラインの露光が行われる。

【0122】

これに対して、撮像素子２２１Ａの各ラインの露光タイミングに合わせて、発光部２１２の発光タイミング及び照射範囲が制御される。すなわち、撮像素子２２１Ａの各ラインの露光タイミングに合わせて、発光部２１２の各ラインの発光タイミングが制御される。

【0123】

例えば、時刻ｔ２ｅから時刻ｔ３ｅまでの期間において、撮像素子２２１Ａの先頭ラインの撮像範囲に対して照明光が照射される。すなわち、撮像素子２２１Ａの先頭ラインの露光期間内の所定の長さの期間において、撮像素子２２１Ａの先頭ラインの撮像範囲に対して照明光が照射される。

【0124】

その後、撮像素子２２１Ａの２番目のラインの撮像範囲から最終ラインの撮像範囲まで、撮像素子２２１Ａの各ラインの撮像範囲に対する照明光の照射が少しずつ時間をシフトしながら順に行われる。そして、時刻ｔ６ｅから時刻ｔ７ｅまでの期間において、撮像素子２２１Ａの最終ラインの撮像範囲に対して照明光の照射が行われる。

【0125】

このように、撮像素子２２１Ａの各ラインの露光期間に合わせて、各ラインの撮像範囲に対して照明光が照射される。

【0126】

これにより、ローリングシャッタ方式の撮像部２２１を用いる場合に、発光部２１２の利用効率を向上させることができる。例えば、発光部２１２の各ラインの発光時間を短縮しつつ、撮像素子２２１Ａの各ラインの露光期間において、各ラインの撮像範囲に対して照明光を照射する時間を長くすることができる。これにより、撮像素子２２１Ａの各ラインに対する照明光の光量が十分に確保されるとともに、発光部２１２の消費電力が削減される。

【0127】

なお、例えば、時刻ｔ１ｅと時刻ｔ２ｅを一致させ、時刻ｔ５ｅと時刻ｔ６ｅを一致させるようにしてもよい。すなわち、撮像素子２２１Ａの各ラインが露光を開始するタイミングと、撮像素子２２１Ａの各ラインの撮像範囲に対して照明光の照射を開始するタイミングとを同期させるようにしてもよい。

【0128】

また、例えば、時刻ｔ３ｅと時刻ｔ４ｅを一致させ、時刻ｔ７ｅと時刻ｔ８ｅを一致させるようにしてもよい。すなわち、撮像素子２２１Ａの各ラインが露光を終了するタイミングと、撮像素子２２１Ａの各ラインの撮像範囲に対して照明光の照射を終了するタイミングとを同期させるようにしてもよい。

【0129】

なお、撮像素子２２１Ａのライン数と発光部２１２のライン数とは、通常一致しない。従って、撮像素子２２１Ａの各ラインの撮像範囲と、発光部２１２の各ラインの照射範囲とは通常一致しない。また、通常、撮像素子２２１Ａのライン数が発光部２１２のライン数より多くなる。そのため、例えば、発光部２１２の各ラインの照射範囲が、撮像素子２２１Ａの複数のラインの撮像範囲を含むようになることが想定される。

【0130】

この場合、例えば、撮像素子２２１Ａの各ラインの露光期間において、撮像素子２２１Ａの各ラインに対応する発光部２１２のラインが所定の長さの期間発光するように制御される。ここで、撮像素子２２１Ａの各ラインに対応する発光部２１２のラインとは、例えば、照射範囲が撮像素子２２１Ａの各ラインの撮像範囲を含むラインである。例えば、発光部２１２の先頭ラインの照射範囲が、撮像素子２２１Ａの１乃至１０ラインの撮像範囲を含む場合、撮像素子２２１Ａの１乃至１０ラインに対応する発光部２１２のラインは、発光部１２の先頭ラインとなる。

【0131】

具体的には、例えば、撮像素子２２１Ａの各ラインの撮像範囲に対する照明光の照射期間が略同じになるように、発光部２１２の各ラインの照射タイミングが制御される。例えば、発光部２１２の各ラインの照射期間が、各ラインに対応する撮像素子２２１Ａの複数のラインの露光期間に含まれるように、発光部２１２の各ラインの照射タイミングが制御される。例えば、発光部２１２の先頭ラインが撮像素子２２１Ａの１乃至１０ラインに対応する場合、発光部２１２の先頭ラインの照射期間が、撮像素子２２１Ａの１乃至１０ラインの露光期間に含まれるように、発光部２１２の先頭ラインの照射タイミングが制御される。

【0132】

なお、例えば、発光部２１２の照射期間が、撮像素子２２１Ａの各ラインの露光期間を含むようにしてもよい。例えば、図９において、撮像素子２２１Ａの各ラインの露光を開始するタイミングと、発光部２１２の各ラインの発光を開始するタイミングとを入れ替えるようにしてもよい。また、例えば、撮像素子２２１Ａの各ラインの露光を終了するタイミングと、発光部２１２の各ラインの発光を終了するタイミングとを入れ替えるようにしてもよい。

【0133】

具体的には、例えば、時刻ｔ２ｅから時刻ｔ３ｅまでの期間において、撮像素子２２１Ａの先頭ラインの露光が行われる。その後、撮像素子２２１Ａの２番目のラインから最終ラインまで各ラインの露光が少しずつ時間をシフトしながら順に行われる。そして、時刻ｔ６ｅから時刻ｔ７ｅまでの期間において、撮像素子２２１Ａの最終ラインの露光が行われる。

【0134】

これに対して、例えば、時刻ｔ１ｅから時刻ｔ４ｅまでの期間において、撮像素子２２１Ａの先頭ラインの撮像範囲に対して照明光が照射される。その後、撮像素子２２１Ａの２番目のラインの撮像範囲から最終ラインの撮像範囲まで、撮像素子２２１Ａの各ラインの撮像範囲に対する照明光の照射が少しずつ時間をシフトしながら順に行われる。そして、時刻ｔ５ｅから時刻ｔ８ｅまでの期間において、撮像素子２２１Ａの最終ラインの撮像範囲に対して照明光の照射が行われる。

【0135】

＜＜４．第２の実施の形態＞＞
次に、図１０乃至図１４を参照して、本技術の第２の実施の形態について説明する。

【0136】

図１０は、車両１のカメラ５１Ｌ及びＬｉＤＡＲ５３Ｌの設置位置の例を示している。

【0137】

カメラ５１Ｌは、車両１の左側のドアミラー付近に設置されている。カメラ５１Ｌは、例えば、ＩＲ光からなる照明光を出射するＬＥＤを備え、照明光を照射しながら撮像する。カメラ５１Ｌの画像は、例えば、運転者が車両１を駐車するときに左側方を確認するのに用いられる。

【0138】

ＬｉＤＡＲ５３Ｌは、車両１の左側面の前方に設置されている。ＬｉＤＡＲ５３Ｌは、車両１の左前方及び左側方の監視に用いられる。ＬｉＤＡＲ５３Ｌは、ＩＲ光からなるレーザ光である測定光を出射し、測定光の反射光を受光することにより、車両１の左前方及び左側方のセンシングを行う。例えば、ＬｉＤＡＲ５３Ｌは、車両１の左前方及び左側方の物体の形状、距離、位置等を検出する。

【0139】

この場合、カメラ５１Ｌからの照明光及びＬｉＤＡＲ５３Ｌからの測定光が同時に出射されると、互いに干渉してしまう。そのため、カメラ５１ＬとＬｉＤＡＲ５３Ｌが同時に動作しないように制御する必要がある。例えば、車両１の走行時には、ＬｉＤＡＲ５３Ｌがオンし、カメラ５１Ｌがオフする。一方、例えば、車両１を駐車するときには、カメラ５１Ｌがオンし、ＬｉＤＡＲ５３Ｌがオフする。

【0140】

これに対して、例えば、カメラとＬｉＤＡＲを統合し、カメラ用の発光部とＬｉＤＡＲ用の発光部とを共有し、各部の動作タイミングを制御することにより、カメラとＬｉＤＡＲを同時に動作させることが可能になる。

【0141】

＜センシングシステム３０１の構成例＞
図１１は、本技術を適用したセンシングシステム３０１の構成例を示している。

【0142】

センシングシステム３０１は、カメラとＬｉＤＡＲを統合したシステムであり、車両１に適用可能である。センシングシステム３０１は、センシングユニット３１１及び発光部３１２を備える。

【0143】

センシングユニット３１１は、撮像部３２１、センシング部３２２、及び、制御部３２３を備える。

【0144】

撮像部３２１は、例えば、図６の撮像素子２２１Ａと同様に、ローリングシャッタ方式の撮像素子３２１Ａを備える。

【0145】

センシング部３２２は、例えば、ＳＰＡＤ（Single Photon Avalanche Diode）等の受光素子が２次元に配置された受光部３２２Ａを備える。すなわち、受光部３２２Ａは、複数の受光素子が複数のラインに並べられている。受光部３２２Ａは、発光部３１２から出射されたＩＲ光の反射光を受光する。センシング部３２２は、受光部３２２Ａにより受光された反射光に基づいて、周囲のセンシングを行う。例えば、センシング部３２２は、周囲の物体の形状、距離、位置等を検出する。

【0146】

制御部３２３は、撮像部３２１、センシング部３２２、及び、発光部３１２を統合的に制御する。例えば、制御部３２３は、撮像部３２１の撮像タイミング、センシング部３２２のセンシングタイミング、及び、発光部３１２の発光タイミングを統合的に制御する。

【0147】

発光部３１２は、例えば、図６の発光部２１２と同様にＶＣＳＥＬにより構成され、２次元に発光素子が配置され、発光素子毎に発光を制御することが可能である。発光部３１２から出射されるＩＲ光は、撮像部３２１に対する照明光、及び、センシング部３２２に対する測定光の両方に用いられる。

【0148】

撮像部３２１と発光部３１２の組み合わせにより、照明付きのカメラが構成される。センシング部３２２と発光部３１２の組み合わせによりＬｉＤＡＲが構成される。すなわち、センシングシステム３０１は、カメラとＬｉＤＡＲの２つの機能を備える。

【0149】

発光部３１２は、撮像部３２１の撮像方向及びセンシング部３２２のセンシング方向にＩＲ光を照射する。従って、撮像部２２１の撮像範囲及びセンシング部３２２のセンシング範囲と、発光部３１２の照射範囲とは、少なくとも一部が重なる。なお、発光部３１２の照射範囲は、撮像部３２１の撮像範囲及びセンシング部３２２のセンシング範囲を合わせた範囲とほぼ同じ、又は、当該範囲を含むようにすることが望ましい。

【0150】

なお、センシング部３２２のセンシング範囲は、例えば、受光部３２２ＡがＩＲ光の反射光を受光可能な範囲（すなわち、受光部３２２Ａの受光範囲）とされる。

【0151】

図１２は、センシングシステム３０１のセンシングユニット３１１のハードウエア構成例を示している。

【0152】

センシングユニット３１１は、撮像部３２１を構成するチップ３４１、センシング部３２２を構成するチップ３４２、及び、制御部３２３を構成するチップ３４３が積層されたモジュールにより構成される。

【0153】

このように、センシングユニット３１１をモジュール化することにより、センシングシステム３０１を小型化することができる。

【0154】

＜センシングシステム３０１の設置例＞
図１３は、センシングシステム３０１の設置位置の例を示している。

【0155】

センシングシステム３０１は、例えば、車両１の左側面のドアミラー付近に設置される。

【0156】

＜センシングシステム３０１の動作例＞
次に、図１４のタイミングチャートを参照して、センシングシステム３０１の動作例について説明する。図１４の横軸は、時刻を示している。図１４の縦軸は、撮像素子３２１Ａのライン、受光部３２２Ａのライン、及び、発光部３１２のラインを示している。

【0157】

例えば、時刻ｔ１ｆから時刻ｔ３ｆまでの期間において、撮像素子３２１Ａの先頭ラインの露光が行われる。その後、撮像素子３２１Ａの２番目のラインから最終ラインまで各ラインの露光が少しずつ時間をシフトしながら順に行われる。そして、時刻ｔ２ｆから時刻ｔ６ｆまでの期間において、撮像素子３２１Ａの最終ラインの露光が行われる。

【0158】

また、時刻ｔ３ｆから時刻ｔ５ｆまでの期間において、撮像素子３２１Ａの先頭ラインが露光を停止している期間（非露光期間）となる。非露光期間は、画素信号の読み出しが行われる読み出し期間を含む。その後、撮像素子３２１Ａの２番目のラインから最終ラインまで少しずつ時間をシフトしながら順に非露光期間となる。そして、時刻ｔ６ｆから時刻ｔ８ｆまでの期間において、撮像素子３２１Ａの最終ラインの非露光期間となる。

【0159】

次に、時刻ｔ５ｆから時刻ｔ９ｆまでの期間において、撮像素子３２１Ａの次のフレームの先頭ラインの露光が行われる。その後、撮像素子３２１Ａの２番目のラインから最終ラインまで各ラインの露光が少しずつ時間をシフトしながら順に行われる。そして、時刻ｔ８ｆから時刻ｔ１２ｆまでの期間において、撮像素子３２１Ａの最終ラインの露光が行われる。

【0160】

そして、発光部３１２は、撮像素子３２１Ａの露光期間及び非露光期間において、それぞれ所定のパターンで発光する。

【0161】

例えば、撮像素子３２１Ａの露光期間において、昼間等の車両１の周囲が明るい状態下で発光部３１２は発光しない。

【0162】

例えば、撮像素子３２１Ａの露光期間において、夜間等の車両１の周囲が暗い状態下で発光部３１２が発光する。このとき、図９を参照して上述した方法と同様に、撮像素子３２１Ａの各ラインの露光期間に合わせて、発光部３１２の各ラインが発光する。これにより、撮像素子３２１Ａの各ラインの露光期間中に、各ラインの撮像範囲に照明光が所定の長さの期間照射される。

【0163】

一方、撮像素子３２１Ａの非露光期間において、ＬｉＤＡＲの処理が実行される。

【0164】

具体的には、例えば、時刻ｔ３ｆから時刻ｔ４ｆまでの期間において、センシング部３２２用に発光部３１２の先頭ラインの発光が行われる。その後、センシング部３２２用に発光部３１２の２番目のラインから最終ラインまで各ラインの発光が少しずつ時間をシフトしながら順に行われる。そして、時刻ｔ６ｆから時刻ｔ７ｆまでの期間において、センシング部３２２用に発光部３１２の最終ラインの発光が行われる。

【0165】

このように、撮像素子３２１Ａのライン毎の非露光期間に合わせて、発光部３１２の発光タイミングがライン毎に制御される。

【0166】

また、例えば、時刻ｔ４ｆから時刻ｔ５ｆまでの期間において、受光部３２２Ａの先頭ラインの受光及び測距等が行われる。その後、受光部３２２Ａの２番目のラインから最終ラインまで各ラインの受光及び測距等が少しずつ時間をシフトしながら順に行われる。そして、時刻ｔ７ｆから時刻ｔ８ｆまでの期間において、発光部３１２の最終ラインの受光及び測距等が行われる。

【0167】

以下、時刻ｔ９ｆ以降において、上述した時刻ｔ３ｆ乃至時刻ｔ１２ｆの処理が繰り返し実行される。

【0168】

なお、図１４の例では、撮像素子３２１Ａの露光期間の終了後に、すぐにセンシング部３２２用の発光が開始されているが、少し間隔を空けてから発光が開始されるようにしてもよい。

【0169】

また、例えば、センシング部３２２のセンシング範囲が、発光部３１２のＩＲ光の照射範囲より狭い場合、必ずしも発光部３１２の全ての発光素子を発光させる必要はない。

【0170】

さらに、センシング部３２２は、受光部３２２Ａの各受光素子が同時に受光しても処理を実行することが可能である。従って、例えば、撮像素子３２１Ａの最終ラインの露光が終了してから、撮像素子３２１Ａの先頭の露光が開始されるまでの間に間隔が存在する場合、すなわち、撮像素子３２１Ａの前のフレームの露光が終了してから次のフレームの露光が開始されるまでの間に間隔が存在する場合、その期間において、発光部３１２の複数のラインを同時に発光し、受光部３２２Ａの全てのラインが同時に受光するようにすることも可能である。

【0171】

以上のようにして、ローリングシャッタ方式の撮像部３２１を用いる場合に、発光部３１２の利用効率を向上させることができる。

【0172】

例えば、カメラとＬｉＤＡＲの機能において、１つの発光部３１２を共用することができる。これにより、センシングシステム３０１を小型化することができる。また、カメラとＬｉＤＡＲを１つのシステムにまとめることができ、設置位置の自由度が向上する。

【0173】

例えば、発光部３１２の各ラインの発光時間を、カメラ及びＬｉＤＡＲの機能において必要な範囲に抑制することができる。これにより、発光部３１２の消費電力が削減される。

【0174】

＜＜５．第３の実施の形態＞＞
次に、図１５乃至図１７を参照して、本技術の第３の実施の形態について説明する。

【0175】

＜センシングシステム４０１の構成例＞
図１５は、本技術を適用したセンシングシステム４０１の構成例を示している。

【0176】

センシングシステム４０１は、車両１に適用可能である。センシングシステム４０１は、前方撮像部４１１、前方発光部４１２、上方撮像部４１３、上方発光部４１４、及び、制御部４１５を備える。

【0177】

前方撮像部４１１は、図６の撮像素子２２１Ａと同様に、ローリングシャッタ方式の撮像素子４１１Ａを備える。前方撮像部４１１は、例えば、車両１の前方上方（例えば、リアビューミラー付近）に設置される。例えば、前方撮像部４１１は、図１６の撮像範囲Ａ１を撮像する。すなわち、前方撮像部４１１は、車両１の運転席及び助手席の搭乗者付近を撮像する。前方撮像部４１１により撮像された画像は、例えば、ＤＭＳ、ＯＭＳ（Occupant Monitoring System）、及び、ビデオチャットに用いられる。

【0178】

前方発光部４１２は、前方撮像部４１１とほぼ同じ位置に設置される。前方発光部４１２は、図６の発光部２１２と同様に、ＶＣＳＥＬにより構成される。前方発光部４１２の照明光の照射範囲は、撮像範囲Ａ１と少なくとも一部が重なる。なお、前方発光部４１２の照射範囲は、撮像範囲Ａ１とほぼ同じ、又は、撮像範囲Ａ１を含むようにすることが望ましい。

【0179】

上方撮像部４１３は、図６の撮像素子２２１Ａと同様に、ローリングシャッタ方式の撮像素子４１３Ａを備える。上方撮像部４１３は、例えば、車両１の中央上方（例えば、車内の天井の中央付近）に設置される。例えば、上方撮像部４１３は、図１６の撮像範囲Ａ２を撮像する。すなわち、上方撮像部４１３は、上方から車内全体を撮像する。

【0180】

上方撮像部４１３により撮像された画像は、例えば、車内の子供等の置き去り検知に用いられる。

【0181】

上方発光部４１４は、上方撮像部４１３とほぼ同じ位置に設置される。上方発光部４１４は、図６の発光部２１２と同様に、ＶＣＳＥＬにより構成される。上方発光部４１４の照明光の照射範囲は、撮像範囲Ａ２と少なくとも一部が重なる。なお、上方発光部４１４の照射範囲は、撮像範囲Ａ２とほぼ同じ、又は、撮像範囲Ａ２を含むようにすることが望ましい。

【0182】

制御部４１５は、前方撮像部４１１、前方発光部４１２、上方撮像部４１３、及び、上方発光部４１４を統合的に制御する。例えば、制御部４１５は、前方撮像部４１１の露光タイミング、前方発光部４１２の発光タイミング、上方撮像部４１３の露光タイミング、及び、上方発光部４１４の発光タイミングを統合的に制御する。

【0183】

＜センシングシステム４０１の動作例＞
次に、図１７のタイミングチャートを参照して、センシングシステム４０１の動作について説明する。図１７の上段は、前方撮像部４１１の動作を示し、下段は、上方撮像部４１３の動作を示している。図１７の横軸は、時刻を示している。図１７の上段の縦軸は、前方撮像部４１１の撮像素子４１１Ａのラインを示している。図１７の下段の縦軸は、上方撮像部４１３の撮像素子４１３Ａのラインを示している。

【0184】

例えば、時刻ｔ１ｇから時刻ｔ２ｇまでの期間において、上方撮像部４１３の撮像素子４１３Ａの先頭ラインの露光が行われる。その後、撮像素子４１３Ａの２番目のラインから最終ラインまで各ラインの露光が少しずつ時間をシフトしながら順に行われる。そして、時刻ｔ４ｇから時刻ｔ５ｇまでの期間において、撮像素子４１３Ａの最終ラインの露光が行われる。

【0185】

このとき、図９を参照して上述した方法と同様に、撮像素子４１３Ａの各ラインの露光期間に合わせて、上方発光部４１４の各ラインが発光する。これにより、撮像素子４１３Ａの各ラインの露光期間中に、各ラインの撮像範囲に照明光が所定の長さの期間照射される。

【0186】

このように、前方撮像部４１１の各ラインの非露光期間に合わせて、上方発光部４１４の各ラインが露光し、上方撮像部４１３の各ラインが露光される。

【0187】

次に、時刻ｔ２ｇから時刻ｔ３ｇまでの期間において、１回目のＤＭＳ及びＯＭＳ用に前方撮像部４１１の撮像素子４１１Ａの先頭ラインの露光が行われる。その後、１回目のＤＭＳ及びＯＭＳ用に撮像素子４１１Ａの２番目のラインから最終ラインまで各ラインの露光が少しずつ時間をシフトしながら順に行われる。そして、時刻ｔ５ｇから時刻ｔ６ｇまでの期間において、１回目のＤＭＳ及びＯＭＳ用に撮像素子４１１Ａの最終ラインの露光が行われる。

【0188】

このとき、図９を参照して上述した方法と同様に、撮像素子４１１Ａの各ラインの露光期間に合わせて、前方発光部４１２の各ラインが発光する。これにより、撮像素子４１１Ａの各ラインの露光期間中に、各ラインの撮像範囲に照明光が所定の長さの期間照射される。

【0189】

次に、時刻ｔ３ｇから時刻ｔ５ｇまでの期間において、ビデオチャット用に前方撮像部４１１の撮像素子４１１Ａの先頭ラインの露光が行われる。その後、ビデオチャット用に撮像素子４１１Ａの２番目のラインから最終ラインまで各ラインの露光が少しずつ時間をシフトしながら順に行われる。そして、時刻ｔ６ｇから時刻ｔ８ｇまでの期間において、ビデオチャット用に撮像素子４１１Ａの最終ラインの露光が行われる。

【0190】

なお、例えば、撮像素子４１１Ａのビデオチャット用の露光期間において、昼間等の車両１の周囲が明るい状態下で前方発光部４１２は発光しない。

【0191】

一方、例えば、撮像素子４１１Ａのビデオチャット用の露光期間において、夜間等の車両１の周囲が暗い状態下で前方発光部４１２が発光する。このとき、図９を参照して上述した方法と同様に、撮像素子４１１Ａの各ラインの露光期間に合わせて、前方発光部４１２の各ラインが発光する。これにより、撮像素子４１１Ａの各ラインの露光期間中に、各ラインの撮像範囲に照明光が所定の長さの期間照射される。

【0192】

なお、図示を省略しているが、１回目のＤＭＳ及びＯＭＳ用の撮像素子４１１Ａの各ラインの露光期間と、ビデオチャット用の撮像素子４１１Ａの各ラインの露光期間との間には、読み出し期間等のために所定の間隔が設けられる。

【0193】

次に、時刻ｔ５ｇから時刻ｔ６ｇまでの期間において、２回目のＤＭＳ及びＯＭＳ用に前方撮像部４１１の撮像素子４１１Ａの先頭ラインの露光が行われる。その後、２回目のＤＭＳ及びＯＭＳ用に撮像素子４１１Ａの２番目のラインから最終ラインまで各ラインの露光が少しずつ時間をシフトしながら順に行われる。そして、時刻ｔ８ｇから時刻ｔ９ｇまでの期間において、２回目のＤＭＳ及びＯＭＳ用に撮像素子４１１Ａの最終ラインの露光が行われる。

【0194】

なお、２回目のＤＭＳ及びＯＭＳ用の露光期間中は、前方発光部４１２は発光しない。

【0195】

なお、図示を省略しているが、ビデオチャット用の撮像素子４１１Ａの各ラインの露光期間と、２回目のＤＭＳ及びＯＭＳ用の撮像素子４１１Ａの各ラインの露光期間との間には、読み出し期間等のために所定の間隔が設けられる。

【0196】

そして、照明光が照射された状態で前方撮像部４１１により撮像された１回目のＤＭＳ及びＯＭＳ用の画像と、照明光が照射されない状態で前方撮像部４１１により撮像された２回目のＤＭＳ及びＯＭＳ用の画像との差分がとられる。これにより、ＤＭＳ及びＯＭＳ用の画像から環境光の影響が除去される。

【0197】

このように、上方撮像部４１３の各ラインの非露光期間に合わせて、前方発光部４１２の各ラインが露光し、前方撮像部４１１の各ラインが露光される。

【0198】

次に、時刻ｔ８ｇ乃至時刻ｔ９ｇの期間において、上方撮像部４１３の撮像素子４１３Ａの次のフレームの先頭ラインの露光が行われる。

【0199】

その後、時刻ｔ８ｇ以降において、上述した時刻ｔ１ｇ乃至時刻ｔ９ｇの処理が繰り返し実行される。

【0200】

なお、前方撮像部４１１の各ラインの露光期間と上方撮像部４１３の各ラインの露光期間との間に、間隔を設けるようにしてもよい。

【0201】

以上のようにして、上述した第１の実施の形態と同様に、ローリングシャッタ方式の前方撮像部４１１及び上方撮像部４１３を用いる場合に、前方発光部４１２及び上方発光部４１４の利用効率を向上させることができる。

【0202】

また、前方撮像部４１１の露光タイミング、前方発光部４１２の発光タイミング、上方撮像部４１３の露光タイミング、及び、上方発光部４１４の発光タイミングが適切に制御される。例えば、前方発光部４１２の照明光が上方撮像部４１３の各ラインの露光（撮像）に影響を及ばさないように、前方発光部４１２の発光タイミングが制御される。例えば、上方発光部４１４の照明光が前方撮像部４１１の各ラインの露光（撮像）に影響を及ばさないように、上方発光部４１４の発光タイミングが制御される。

【0203】

なお、ＤＭＳ、ＯＭＳ、ビデオチャットにおいては、被写体の動きが小さいため、ローリングシャッタ歪みによる弊害はほとんど発生しない。

【0204】

＜＜６．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。

【0205】

例えば、発光部の各ラインの発光素子は、必ずしも全て同時に発光する必要はない。例えば、必要に応じて各ラインの発光素子を間引いて発光するようにしてもよい。例えば、ＬｉＤＡＲ用に発光する場合、各ラインの発光素子を水平方向に走査することも可能である。

【0206】

例えば、本技術には、ミラー等を用いて機械的に光を垂直方向（コラム方向）に走査する発光部を用いることも可能である。

【0207】

例えば、本技術には、発光素子が１次元に配列された発光部を用いることも可能である。例えば、各ラインに１つの発光素子が設けられた発光部を用いることも可能である。例えば、複数の発光素子が１ラインに並べられ、当該ラインから発光される光を機械的に垂直方向に走査する発光部を用いることが可能になる。

【0208】

以上の説明では、発光部がＩＲ光を発光する例を示したが、発光部が発光する光の波長は特に限定されない。例えば、必要に応じて、可視光等が使用される。

【0209】

例えば、本技術に用いられるローリングシャッタ方式の撮像素子は、１ライン毎に露光（スキャン）する撮像素子だけでなく、複数のライン毎に露光（スキャン）する撮像素子も含む。

【0210】

以上の説明では、撮像部の各ラインの露光タイミングに合わせて、発光部の各ラインの発光タイミングを制御する例を示したが、発光部の各ラインの発光タイミングに合わせて、撮像部の各ラインの露光タイミングを制御するようにしてもよい。

【0211】

本技術は、上述したＬｉＤＡＲ以外にも、撮像素子と発光部を共用可能なセンサと撮像素子とを組み合わせる場合にも適用できる。

【0212】

例えば、本技術は、車両以外にも、ローリングシャッタ方式の撮像素子を備える撮像部を備えるシステムや装置に適用できる。例えば、本技術は、車両以外の移動体にも適用できる。例えば、本技術は、ビル等の所定のエリアを監視する監視システムに適用できる。例えば、本技術は、スマートフォン等の情報処理装置に適用できる。

【0213】

＜＜７．その他＞＞
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0214】

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0215】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0216】

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。

【0217】

（１）
ライン毎に露光を制御するローリングシャッタ方式の第１の撮像部と、
照射範囲が前記第１の撮像部の撮像範囲の少なくとも一部と重なり、ライン毎に発光タイミングを制御可能な第１の発光部と、
前記第１の撮像部及び前記第１の発光部を統合的に制御する制御部と
を備えるセンシングシステム。
（２）
前記制御部は、前記第１の撮像部の露光タイミング及び前記第１の発光部の発光タイミングのうち一方に基づいて、他方を制御する
前記（１）に記載のセンシングシステム。
（３）
前記制御部は、前記第１の撮像部の各ラインの露光タイミング及び前記第１の発光部の各ラインの発光タイミングのうち一方に合わせて、他方を制御する
前記（２）に記載のセンシングシステム。
（４）
前記制御部は、前記第１の撮像部の各ラインの露光期間において、前記第１の撮像部の各ラインに対応する前記第１の発光部のラインを所定の長さの期間発光させる
前記（３）に記載のセンシングシステム。
（５）
複数の受光素子が複数のラインに並べられたセンシング部を
さらに備え、
前記制御部は、前記第１の撮像部の露光期間以外の期間である非露光期間に、前記センシング部用に前記第１の発光部を第１のパターンで発光させる
前記（１）に記載のセンシングシステム。
（６）
前記制御部は、前記第１の撮像部のライン毎の前記非露光期間に合わせて、前記第１の発光部の発光タイミングをライン毎に制御する
前記（５）に記載のセンシングシステム。
（７）
前記制御部は、前記第１の撮像部の前記非露光期間に、前記第１の発光部の複数のラインを同時に発光させる
前記（５）に記載のセンシングシステム。
（８）
前記制御部は、前記第１の撮像部の露光期間において、第２の発光パターンで前記第１の発光部を発光させる
前記（５）乃至（７）のいずれかに記載のセンシングシステム。
（９）
前記センシング部の各前記受光素子は、前記第１の発光部により発光された光の反射光を受光する
前記（５）乃至（８）のいずれかに記載のセンシングシステム。
（１０）
前記第１の撮像部、前記センシング部、及び、前記制御部が、１つのモジュールに設けられる
前記（５）乃至（９）のいずれかに記載のセンシングシステム。
（１１）
ライン毎に露光を制御するローリングシャッタ方式の第２の撮像部と、
照射範囲が前記第２の撮像部の撮像範囲の少なくとも一部と重なり、ライン毎に発光タイミングを制御可能な第２の発光部と
をさらに備え、
前記制御部は、前記第１の撮像部、前記第１の発光部、前記第２の撮像部、及び、前記第２の発光部を統合的に制御する
前記（１）に記載のセンシングシステム。
（１２）
前記制御部は、前記第１の撮像部の露光期間以外の期間である非露光期間において、前記第２の撮像部を露光させ、前記第２の発光部を発光させる
前記（１１）に記載のセンシングシステム。
（１３）
前記制御部は、前記第１の撮像部の各ラインの前記非露光期間に合わせて、前記第２の撮像部の各ラインを露光させ、前記第２の発光部の各ラインを発光させる
前記（１２）に記載のセンシングシステム。
（１４）
前記制御部は、前記第２の撮像部の前記非露光期間において、前記第１の撮像部を露光させ、前記第１の発光部を発光させる
前記（１３）に記載のセンシングシステム。
（１５）
前記制御部は、前記第２の撮像部の各ラインの前記非露光期間に合わせて、前記第１の撮像部の各ラインを露光させ、前記第１の発光部の各ラインを発光させる
前記（１４）に記載のセンシングシステム。
（１６）
前記第１の撮像部、前記第１の発光部、及び、前記制御部は、車両に設けられる
前記（１）乃至（１５）のいずれかに記載のセンシングシステム。
（１７）
ライン毎に露光を制御するローリングシャッタ方式の撮像部、及び、照射範囲が前記撮像部の撮像範囲の少なくとも一部と重なり、ライン毎に発光タイミングを制御可能な発光部を統合的に制御する制御部を
備えるセンシング制御装置。
（１８）
ライン毎に露光を制御するローリングシャッタ方式の撮像部、及び、照射範囲が前記撮像部の撮像範囲の少なくとも一部と重なり、ライン毎に発光タイミングを制御可能な発光部を統合的に制御する
センシング方法。

【0218】

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【符号の説明】

【0219】

１ 車両， １１ 車両制御システム， ５１ カメラ， ５３ ＬｉＤＡＲ， ２０１ センシングシステム， ２１１ センシングユニット， ２１２ 発光部， ２２１ 撮像部， ２２１Ａ 撮像素子， ２２２ 制御部， ３０１ センシングシステム， ３１１ センシングユニット， ３１２ 発光部， ３２１ 撮像部， ３２１Ａ 撮像素子， ３２２ センシング部， ３２２Ａ 受光部， ３２３ 制御部， ３４１乃至３４３ チップ， ４０１ センシングシステム， ４１１ 前方撮像部， ４１１Ａ 撮像素子， ４１２ 前方発光部， ４１３ 上方撮像部， ４１３Ａ 撮像素子， ４１４ 上方発光部， ４１５ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】