知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-05
(45)【発行日】2024-09-13
(54)【発明の名称】センシングデバイスおよび情報処理装置
(51)【国際特許分類】
G01S 7/4863 20200101AFI20240906BHJP
G01S 17/894 20200101ALI20240906BHJP
G01C 3/06 20060101ALI20240906BHJP
【ＦＩ】
G01S7/4863
G01S17/894
G01C3/06 120Q
G01C3/06 140
【請求項の数】
15
(21)【出願番号】P 2021555937
(86)(22)【出願日】2020-09-29
(86)【国際出願番号】 JP2020037038
(87)【国際公開番号】W WO2021095382
(87)【国際公開日】2021-05-20
【審査請求日】2023-08-10
(31)【優先権主張番号】P 2019206918
(32)【優先日】2019-11-15
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100184985
【弁理士】
【氏名又は名称】田中 悠
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(74)【代理人】
【識別番号】100218981
【弁理士】
【氏名又は名称】武田 寛之
(72)【発明者】
【氏名】加藤 弓子
(72)【発明者】
【氏名】稲田 安寿
(72)【発明者】
【氏名】杉尾 敏康
(72)【発明者】
【氏名】井口 賀敬
【審査官】梶田 真也
(56)【参考文献】
【文献】特開２０１６－０１７７９９（ＪＰ，Ａ）
【文献】特開２００１－１８３４４４（ＪＰ，Ａ）
【文献】国際公開第２０１７／１４１９５７（ＷＯ，Ａ１）
【文献】特開２００９－２３６８１１（ＪＰ，Ａ）
【文献】特開２００２－３１１３２７（ＪＰ，Ａ）
【文献】特開２００１－３０５４１３（ＪＰ，Ａ）
【文献】国際公開第２０１５／１２５４７８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｓ ７／４８ － ７／５１
Ｇ０１Ｓ １７／００ － １７／９５
Ｇ０１Ｃ ３／００ － ３／３２
(57)【特許請求の範囲】
【請求項1】
光源と、光電変換を行う少なくとも１つの受光素子を備える受光装置と、
前記光源および前記受光装置を制御する処理回路と、
を備え、
前記処理回路は、
前記光源に、光をシーンに向けて少なくとも１回出射させ、
前記受光装置に、前記光による反射光を、複数の露光期間のそれぞれで受光させ、
前記受光装置からの受光データに基づき、前記複数の露光期間のそれぞれに対応する反射光量分布を示す輝度データであって、前記シーンの距離データを生成するために用いられる輝度データを生成し、
前記輝度データと、前記複数の露光期間のそれぞれのタイミングを示すタイミングデータとを出力し、
前記処理回路は、さらに、
前記輝度データに基づいて前記距離データを生成し、
前記距離データと、前記輝度データとを、切り替えて出力する、
センシングデバイス。
【請求項2】
前記処理回路は、外部の装置からの要求に応じて、前記距離データと、前記輝度データとを切り替えて出力する、請求項１に記載のセンシングデバイス。
【請求項3】
前記処理回路は、前記受光データの状態に応じて、前記距離データと、前記輝度データとを切り替えて出力する、請求項１または２に記載のセンシングデバイス。
【請求項4】
前記処理回路は、前記複数の露光期間の少なくとも１つについての前記受光データのノイズ量を計算し、
前記ノイズ量が閾値を超えるとき、前記輝度データを出力し、
前記ノイズ量が前記閾値を超えないとき、前記距離データを出力する、
請求項１から３のいずれかに記載のセンシングデバイス。
【請求項5】
前記処理回路は、前記複数の露光期間の少なくとも１つについての前記受光データから反射率を計算し、
前記反射率が閾値を超えるとき、前記距離データを出力し、
前記反射率が前記閾値を超えないとき、前記輝度データを出力する、
請求項１から３のいずれかに記載のセンシングデバイス。
【請求項6】
前記処理回路は、複数のフレーム動作を繰り返し、前記複数のフレーム動作の各々は、
前記光源に前記シーンに向けて前記光を出射させることと、
前記受光装置に、前記露光期間ごとに前記受光データを生成させることと、
前記輝度データと前記タイミングデータとの組、および前記距離データからなる群から選択される少なくとも１つを出力することと、
を含み、
前記処理回路は、前記輝度データと前記タイミングデータとの前記組、および前記距離データのいずれを出力するかを、前記フレーム動作ごとに決定する、
請求項１から５のいずれかに記載のセンシングデバイス。
【請求項7】
前記処理回路は、前記輝度データまたは前記距離データを出力するとき、前記輝度データおよび前記距離データのいずれのデータを含むかを示す識別子を付加して前記輝度データまたは前記距離データを出力する、請求項６に記載のセンシングデバイス。
【請求項8】
前記処理回路は、前記距離データと、前記輝度データとを、前記シーンに含まれる複数の領域ごとに切り替えて出力する、請求項１から７のいずれかに記載のセンシングデバイス。
【請求項9】
前記処理回路は、前記輝度データと前記タイミングデータとの前記組の出力と、前記距離データの出力とを切り替えるとき、前記複数のフレーム動作に共通の固定値のデータを出力する、請求項６または７に記載のセンシングデバイス。
【請求項10】
メモリと、処理回路とを備え、
前記処理回路は、
センシングデバイスから、複数の露光期間のそれぞれに受光された、前記センシングデバイスの光源からの出射光に起因するシーンからの反射光の反射光量分布を示す輝度データと、前記複数の露光期間のそれぞれのタイミングを示すタイミングデータとを取得し、
前記輝度データおよび前記タイミングデータを前記メモリに記録し、
前記輝度データに対する画像処理を行い、
前記画像処理後の前記輝度データと、前記タイミングデータとに基づき、第１の距離データを生成し、
前記処理回路は、さらに、前記センシングデバイスに、前記輝度データと前記タイミングデータとに基づき前記センシングデバイス内部で生成される第２の距離データの出力と、前記輝度データの出力との切替を要求する信号を送信する、
情報処理装置。
【請求項11】
前記処理回路は、前記センシングデバイスから、前記第２の距離データおよび前記輝度データのいずれが出力されたかを示す識別データをさらに取得し、
前記識別データに基づき、前記センシングデバイスから出力されたデータに対する処理を切り替える、
請求項１０に記載の情報処理装置。
【請求項12】
前記処理回路は、前記センシングデバイスの自己位置を特定し、
前記センシングデバイスの前記自己位置が所定の条件を満足するとき、前記センシングデバイスに、前記輝度データの出力を要求する信号を送信する、
請求項１０または１１に記載の情報処理装置。
【請求項13】
前記処理回路は、前記輝度データのノイズ量を判定し、
前記ノイズ量が基準値より大きいとき、前記センシングデバイスに、前記輝度データの出力を要求する信号を送信する、
請求項１０または１１に記載の情報処理装置。
【請求項14】
光源に、光をシーンに向けて少なくとも１回出射させることと、受光装置に、前記光による反射光を、複数の露光期間のそれぞれで受光させることと、
前記受光装置からの受光データに基づき、前記複数の露光期間のそれぞれに対応する反射光量分布を示す輝度データであって、前記シーンの距離データを生成するために用いられる輝度データを生成することと、
前記輝度データと、前記複数の露光期間のそれぞれのタイミングを示すタイミングデータとを出力することと、
前記輝度データに基づいて前記距離データを生成することと、
前記距離データと、前記輝度データとを、切り替えて出力することと、
をコンピュータに実行させるコンピュータプログラム。
【請求項15】
センシングデバイスから、複数の露光期間のそれぞれに受光された、前記センシングデバイスの光源からの出射光に起因するシーンからの反射光の反射光量分布を示す輝度データと、前記複数の露光期間のそれぞれのタイミングを示すタイミングデータとを取得することと、前記輝度データおよび前記タイミングデータをメモリに記録することと、
前記輝度データに対する画像処理を行うことと、
前記画像処理後の前記輝度データと、前記タイミングデータとに基づき、第１の距離データを生成することと、
前記センシングデバイスに、前記輝度データと前記タイミングデータとに基づき前記センシングデバイス内部で生成される第２の距離データの出力と、前記輝度データの出力との切替を要求する信号を送信することと、
をコンピュータに実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、センシングデバイスおよび情報処理装置に関する。
【背景技術】
【0002】
従来、物体を光で照射し、当該物体からの反射光を検出することにより、当該物体の距離データを取得する種々のデバイスが提案されている。対象シーンの距離データは、例えば３次元の点群（ｐｏｉｎｔ ｃｌｏｕｄ）のデータに変換され、利用され得る。点群データは、典型的には、シーン中で物体が存在する点の分布が３次元座標で表現されたデータである。
【0003】
特許文献１は、光ビームによって空間を走査し、光センサによって物体からの反射光を検出することで物体までの距離情報を取得するシステムを開示している。当該システムは、点群データの各点に計測時刻が対応付けられた情報を生成して出力する。
【0004】
特許文献２は、レーザスキャナによって車両の周囲に存在する構造物までの距離を計測し、その距離データに基づいて３次元点群データを生成する装置を開示している。
【0005】
特許文献３は、車両に組み込まれ、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）技術を用いて物体までの距離を計測するフラッシュライダーシステムを開示している。
【0006】
特許文献４は、光ビームによって空間を走査し、イメージセンサによって物体からの反射光を受光して距離データを生成する装置を開示している。
【先行技術文献】
【特許文献】
【0007】
【文献】特開２００９－２９４１２８号公報
【文献】特開２０１８－１８５２２８号公報
【文献】特開２０１９－９５４５２号公報
【文献】米国特許出願公開第２０１８／０２１７２５８号明細書
【発明の概要】
【発明が解決しようとする課題】
【0008】
本開示の一態様は、測距に必要なデータを出力する新規なセンシングデバイスと、当該センシングデバイスから出力されたデータを処理する新規な情報処理装置を提供する。
【課題を解決するための手段】
【0009】
本開示の一態様に係るセンシングデバイスは、光源と、光電変換を行う少なくとも１つの受光素子を備える受光装置と、前記光源および前記受光装置を制御する処理回路と、を備える。前記処理回路は、前記光源に、光をシーンに向けて少なくとも１回出射させ、前記受光装置に、前記光による反射光を、複数の露光期間のそれぞれで受光させ、前記受光装置からの受光データに基づき、前記複数の露光期間のそれぞれに対応する反射光量分布を示す輝度データであって、前記シーンの距離データを生成するために用いられる輝度データを生成し、前記輝度データと、前記複数の露光期間のそれぞれのタイミングを示すタイミングデータとを出力する。
【0010】
本開示の他の態様に係る情報処理装置は、メモリと、処理回路とを備える。前記処理回路は、センシングデバイスから、複数の露光期間のそれぞれに受光されたシーンからの反射光の反射光量分布を示す輝度データと、前記複数の露光期間のそれぞれのタイミングを示すタイミングデータとを取得し、前記輝度データおよび前記タイミングデータを前記メモリに記録し、前記輝度データに対する画像処理を行い、前記画像処理後の前記輝度データと、前記タイミングデータとに基づき、第１の距離データを生成する。
【0011】
本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録ディスク等の記録媒体によって実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせによって実現されてもよい。コンピュータ読み取り可能な記録媒体は、揮発性の記録媒体を含んでいてもよいし、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ‐Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含んでいてもよい。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
【発明の効果】
【0012】
本開示の一態様によれば、センシングデバイスから出力されたデータに基づいて、情報処理装置が、より高い精度の距離データを生成することができる。
【0013】
本開示に含まれる様々な態様における付加的な恩恵および有利な点は本明細書および図面から明らかとなる。この恩恵および／または有利な点のそれぞれは、本明細書および図面に開示された様々な態様または各態様における一部の特徴により個別に提供され得る。その恩恵およびまたは有利な点の１つ以上を得るために特徴の全てが必要ではない。
【図面の簡単な説明】
【0014】
【図1】間接ＴｏＦ法による測距方法の例を説明するための図である。
【図2】間接ＴｏＦ法による測距方法の例を説明するための図である。
【図3】露光期間ごとの３つの画像と、それらの画像のデータから生成される距離画像の例を示す図である。
【図4A】実施形態１のシステムの物理構成を示すブロック図である。
【図4B】実施形態１のシステムの機能構成を示すブロック図である。
【図5】測距装置の動作を示すフローチャートである。
【図6】測距装置による投光および露光の動作の例を示すタイムチャートである。
【図7A】測距装置から出力されるデータの出力形式の例を示す第１の図である。
【図7B】測距装置から出力されるデータの出力形式の例を示す第２の図である。
【図8】実施形態１における制御装置の動作を示すフローチャートである。
【図9】距離と最大の画素値との対応関係の例を示す図である。
【図10】光源の一例を示す図である。
【図11A】反射型導波路を利用した光源の例を模式的に示す斜視図である。
【図11B】光導波路素子の構造の例を模式的に示す図である。
【図11C】位相シフタの例を模式的に示す図である。
【図12】記録媒体１７０に記録されるデータの一例を示す図である。
【図13】実施形態１の変形例１における測距装置の動作を示すフローチャートである。
【図14A】実施形態１の変形例１における測距装置から出力されるデータの出力形式の例を示す第１の図である。
【図14B】実施形態１の変形例１における測距装置から出力されるデータの出力形式の例を示す第２の図である。
【図15A】測距装置から出力されるデータの出力形式の他の例を示す第１の図である。
【図15B】測距装置から出力されるデータの出力形式の他の例を示す第２の図である。
【図16A】測距装置から出力されるデータの出力形式のさらに他の例を示す第１の図である。
【図16B】測距装置から出力されるデータの出力形式のさらに他の例を示す第２の図である。
【図17A】測距装置から出力されるデータの出力形式のさらに他の例を示す第１の図である。
【図17B】測距装置から出力されるデータの出力形式のさらに他の例を示す第２の図である。
【図18】実施形態２におけるシステムの機能構成を示す図である。
【図19】実施形態２における測距装置の処理回路の動作を示すフローチャートである。
【図20A】測距装置から出力される距離画像データのフォーマットの例を示す第１の図である。
【図20B】測距装置から出力される距離画像データのフォーマットの例を示す第２の図である。
【図21A】測距装置から出力される輝度画像データのフォーマットの例を示す第１の図である。
【図21B】測距装置から出力される輝度画像データのフォーマットの例を示す第２の図である。
【図22A】測距装置から出力される輝度画像データのフォーマットの他の例を示す第１の図である。
【図22B】測距装置から出力される輝度画像データのフォーマットの他の例を示す第２の図である。
【図23】実施形態２における制御装置の動作を示すフローチャートである。
【図24】実施形態２の変形例１における測距装置の動作を示すフローチャートである。
【図25】実施形態２の変形例２における測距装置の動作を示すフローチャートである。
【図26】実施形態２の変形例３における記録媒体に記録されるデータの一例を模式的に示す図である。
【図27】実施形態２の変形例３における測距装置の動作を示すフローチャートである。
【図28】実施形態２の変形例３における記録媒体に記録されるデータの一例を示す図である。
【図29A】実施形態２の変形例３における出力データの形式の一例を示す図である。
【図29B】実施形態２の変形例３における出力データの形式の一例を示す図である。
【図30】実施形態２の変形例３における制御装置が実行する処理の例を示すフローチャートである。
【図31】指示信号の形式の一例を示す図である。
【図32】測距装置の動作の他の例を示すフローチャートである。
【図33A】出力フォーマットの一例を示す第１の図である。
【図33B】出力フォーマットの一例を示す第２の図である。
【図34】制御装置の動作の他の例を示すフローチャートである。
【発明を実施するための形態】
【0015】
本開示において、回路、ユニット、装置、部材もしくは部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。
【0016】
さらに、回路、ユニット、装置、部材または部の全部または一部の機能または動作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
【0017】
＜背景＞
本開示の実施形態を説明する前に、本開示の実施形態において用いられ得る測距方法の例を説明する。
本開示の実施形態を説明する前に、本開示の実施形態において用いられ得る測距方法の例を説明する。
【0018】
光源および受光装置を用いて物体までの距離を計算する測距方法にはいくつかの方法がある。例えば、直接ＴｏＦ法および間接ＴｏＦ法などのＴｏＦ技術が一般に用いられている。このうち、直接ＴｏＦ法は、光が出射されてから戻ってくるまでの時間を直接計測することにより、物体までの距離を計算する方法である。一方、間接ＴｏＦ法は、光が出射されてから戻ってくるまでの時間を光強度に変換して計測する方法である。これらの測距方法には、光パルスを発する光源と、１つ以上の受光素子を備える受光装置とが用いられる。以下、測距方法の一例として、間接ＴｏＦ法による測距方法の例を説明する。
【0019】
図１および図２は、間接ＴｏＦ法による測距方法の例を説明するための図である。図１および図２において、矩形部分は、光パルスの投光、反射光の受光素子への到達、および３回の露光のそれぞれの期間を表している。横軸は時間を表している。図１は、相対的に近い物体から光パルスが反射される場合の例を示している。図２は、相対的に遠い物体から光パルスが反射される場合の例を示している。図１および図２において、波形（ａ）は光源から光パルスが出射されるタイミングを示し、波形（ｂ）は当該光パルスの反射光が受光素子に到達する期間を示し、波形（ｃ）は第１の露光期間を示し、波形（ｄ）は第２の露光期間を示し、波形（ｅ）は第３の露光期間を示している。測距用の光パルスの時間幅をＴ０、光パルスが出射されてから受光されるまでの時間、すなわち飛行時間をＴｄとする。
【0020】
この例では、投光の開始と同時に第１の露光期間が開始され、投光の終了と同時に第１の露光期間が終了する。第２の露光期間は、投光の終了と同時に開始し、光パルスの時間幅Ｔ０と同一の時間、すなわち第１の露光期間と同一の時間が経過した時点で終了する。第３の露光期間は、第２の露光期間の終了と同時に開始し、光パルスの時間幅Ｔ０と同一の時間、すなわち第１の露光期間と同一の時間が経過した時点で終了する。
【0021】
第１の露光期間では、反射光のうち、早期に戻ってきた光が光電変換され、生じた電荷が蓄積される。Ｑ１は、第１の露光期間の間に光電変換された光のエネルギーを表す。このエネルギーＱ１は、第１の露光期間の間に蓄積された電荷の量に比例する。第２の露光期間では、反射光のうち、第１の露光期間が終了した後、時間Ｔ０が経過するまでの間に到達した光が光電変換され、生じた電荷が蓄積される。Ｑ２は、第２の露光期間の間に光電変換された光のエネルギーを表す。このエネルギーＱ２は、第２の露光期間の間に蓄積された電荷の量に比例する。第３の露光期間では、反射光のうち、第２の露光期間が終了した後、時間Ｔ０が経過するまでの間に到達した光が光電変換され、生じた電荷が蓄積される。Ｑ３は、第３の露光期間の間に光電変換された光のエネルギーを表す。このエネルギーＱ３は、第３の露光期間の間に蓄積された電荷の量に比例する。
【0022】
第１の露光期間の長さが光パルスの時間幅Ｔ０に等しいことから、図１の例では、第２の露光期間で受光される反射光の時間幅は、飛行時間Ｔｄに等しい。図１の例では、飛行時間Ｔｄはパルスの時間幅Ｔ０よりも短いため、反射光はすべて第２の露光期間の終了時点までに受光素子に戻ってくる。従って、第３の露光期間では反射光は検出されない。第３の露光期間で蓄積される電荷はバックグラウンド光によるノイズを表す。これに対し、第１の露光期間では、バックグラウンド光に加え、反射光パルスの受光によって生成された電荷が蓄積される。第２の露光期間についても同様に、バックグラウンド光に加え、反射光パルスの受光によって生成された電荷が蓄積される。
【0023】
第１の露光期間で蓄積された電荷による受光素子の出力電圧をＶ１、第２の露光期間で蓄積された電荷による受光素子の出力電圧をＶ２、第３の露光期間で蓄積された電荷による受光素子の出力電圧をＶ３とする。図１の例のように、反射光が第１の露光期間および第２の露光期間では検出され、第３の露光期間では検出されない場合、Ｖ１＞Ｖ３となる。図１の例では、３つの露光期間の時間長が等しいため、バックグラウンドノイズはすべての露光期間で変動がないものとする。この場合、反射光が検出されない第３の露光期間の出力電圧Ｖ３を、バックグラウンドノイズの電圧ＶＢＧとすることができる。第１の露光期間および第２の露光期間では、反射光による電荷とバックグラウンドノイズによる電荷の両方が蓄積される。このため、第１の露光期間における反射光の受光により蓄積される電荷による電圧ＶＱ１は、以下の式（１）で表すことができる。
ＶＱ１＝Ｖ１－ＶＢＧ （１）
ＶＱ１＝Ｖ１－ＶＢＧ （１）
【0024】
同様に、第２の露光期間における反射光の受光により蓄積される電荷による電圧ＶＱ２は、以下の式（２）で表すことができる。
ＶＱ２＝Ｖ２－ＶＢＧ （２）
ＶＱ２＝Ｖ２－ＶＢＧ （２）
【0025】
第１の露光期間の時間長と第２の露光期間の時間長とが等しいため、Ｑ１とＱ２との比は、Ｔ０－ＴｄとＴｄとの比に等しい。すなわち、Ｔ０－ＴｄとＴｄとの比は、ＶＱ１とＶＱ２との比に等しい。従って、Ｔｄは、以下の式（３）で表すことができる。
【数1】
【0026】
式（１）、（２）、（３）より、Ｔｄは、以下の式（４）で表すことができる。
【数2】
【0027】
一方、図２に示す例のように、ＴｄがＴ０よりも長く、反射光が第１の露光期間では戻らず、第２の露光期間と第３の露光期間で戻る場合、Ｖ１＜Ｖ３となる。この場合、第１の露光期間はバックグラウンドノイズによる電荷のみを蓄積する。一方、第２の露光期間および第３の露光期間の一方または両方において、反射光パルスの受光による電荷と、バックグラウンドノイズによる電荷の両方が蓄積される。この場合、Ｔｄは、以下の式（５）で表すことができる。
【数3】
【0028】
式（４）または（５）によって計算される飛行時間Ｔｄを用いて、距離Ｄを、Ｄ＝ｃ×Ｔｄ／２（ｃは光速）の演算によって求めることができる。
【0029】
図３は、図１に示す期間Ａ０、Ａ１、およびＡ２のそれぞれで蓄積された電荷の信号に基づいて生成される３つの画像と、それらの画像のデータから生成される距離画像の例を示す図である。この例における受光装置は、２次元的に配列された複数の受光素子のアレイを備えるイメージセンサである。露光期間ごとに、各受光素子に蓄積された電荷の信号に基づいて、２次元画像が生成される。図３の例では、反射光パルスは第１の露光期間および第２の露光期間で検出され、第３の露光期間ではバックグラウンド光によるノイズ成分のみが検出される。各画素の距離は、第１から第３の露光期間のそれぞれにおいて得られた画素値を用いて、上記の演算によって求められる。
【0030】
上記のように、反射光パルス以外のバックグラウンド光によるノイズがある場合、各画素の画素値はノイズ成分を含む。上記の式（４）および（５）では、ノイズによって各受光素子に蓄積される電荷はすべての露光期間において等しいものと仮定している。しかし、実際には、露光期間ごとに各画素のノイズは変動する。画素ごとに上記の計算を行うだけでは、ノイズの影響を除去することが十分にできない場合がある。
【0031】
測距装置は、一般に、距離計算の結果として、図３に示すような距離画像データ、または３次元点群データを出力する。距離画像データは、水平方向の位置ｘ、垂直方向の位置ｙ、および基準位置からの距離ｄの組（ｘ，ｙ，ｄ）によって表現され、シーン中に存在する物体の距離分布を表す。３次元点群データは、シーン中の物体の分布を表す複数の点を３次元座標で表現したデータである。３次元点群データは、例えば距離画像データから変換されることによって生成され得る。
【0032】
上記のように、間接ＴｏＦ法では、距離は、露光期間ごとに受光素子に蓄積された電荷の比を求めることで計算される。このため、距離画像データまたは３次元点群データを出力する測距装置では、対象物の反射率の情報は失われる。しかしながら、反射率の情報は、対象物の認識処理に有用である場合がある。例えば、１つ以上の測距装置から送信されるデータに基づいて対象物を認識し、認識結果に基づいて自動運転車などの車両の制御を行う制御装置において、そのような反射率の情報が有用である場合がある。一例として、測距装置から出力された距離画像データまたは３次元点群データにノイズが多く含まれている場合、計測点の反射率を反映した輝度データを利用することで、認識の精度を向上できる可能性がある。
【0033】
以上の考察に基づき、本発明者らは、以下に説明する本開示の実施形態の構成に想到した。
【0034】
本開示の一実施形態によるセンシングデバイスは、光源と、光電変換を行う少なくとも１つの受光素子を備える受光装置と、前記光源および前記受光装置を制御する処理回路と、を備える。前記処理回路は、前記光源に、光をシーンに向けて少なくとも１回出射させ、前記受光装置に、前記光による反射光を、複数の露光期間のそれぞれで受光させ、前記受光装置からの受光データに基づき、前記複数の露光期間のそれぞれに対応する反射光量分布を示す輝度データであって、前記シーンの距離データを生成するために用いられる輝度データを生成し、前記輝度データと、前記複数の露光期間のそれぞれのタイミングを示すタイミングデータとを出力する。
【0035】
上記構成によれば、前記処理回路は、前記受光装置からの受光データに基づき、前記複数の露光期間のそれぞれに対応する反射光量分布を示す輝度データであって、前記シーンの距離データを生成するために用いられる輝度データを生成し、前記輝度データと、前記複数の露光期間のそれぞれのタイミングを示すタイミングデータとを出力する。これにより、輝度データおよびタイミングデータを取得した情報処理装置が、輝度データおよびタイミングデータに基づいて、より高品質の距離画像データまたは３次元点群データを生成することが可能になる。
【0036】
前記処理回路は、前記距離データを生成し、前記距離データと、前記輝度データとを、切り替えて出力してもよい。上記構成によれば、必要に応じて、距離データを出力するモードと、輝度データおよびタイミングデータを出力するモードとを切り替えることができる。このため、例えば必要な場合にのみ、データ量の大きい輝度データを出力するなどの柔軟な制御が可能になる。
【0037】
前記処理回路は、外部の装置からの要求に応じて、前記距離データと、前記輝度データとを切り替えて出力してもよい。外部の装置は、例えば複数のセンシングデバイスから出力されるデータに基づいて統合された距離データまたは点群データを生成する情報処理装置であり得る。
【0038】
前記処理回路は、前記受光データの状態に応じて、前記距離データと、前記輝度データとを切り替えて出力してもよい。受光データの状態には、例えば、受光データに含まれるノイズ量、または受光データに含まれるそれぞれの値の大きさなどの、種々の状態が含まれ得る。
【0039】
前記処理回路は、前記複数の露光期間の少なくとも１つについての前記受光データのノイズ量を計算し、前記ノイズ量が閾値を超えるとき、前記輝度データを出力し、前記ノイズ量が前記閾値を超えないとき、前記距離データを出力してもよい。これにより、受光データのノイズ量が多く、処理回路が生成する距離データの信頼性が低いと推定される場合に、距離データに代えて輝度データを出力することができる。当該輝度データは、処理回路よりも高い処理能力を持つ外部の情報処理装置に送られ、当該情報処理装置によって処理されてもよい。情報処理装置は、センシングデバイスから取得した輝度データに基づき、より高品質な距離データまたは点群データを生成することができる。
【0040】
前記処理回路は、前記複数の露光期間の少なくとも１つについての前記受光データから反射率を計算し、前記反射率が閾値を超えるとき、前記距離データを出力し、前記反射率が前記閾値を超えないとき、前記輝度データを出力してもよい。これにより、反射率が高く、信頼度の高い距離データが生成できる場合には、距離データを出力し、そうでない場合には輝度データを出力するといった制御が可能になる。
【0041】
前記処理回路は、複数のフレーム動作を繰り返してもよい。前記複数のフレーム動作の各々は、前記光源に前記シーンに向けて前記光を出射させることと、前記受光装置に、前記露光期間ごとに前記受光データを生成させることと、前記輝度データと前記タイミングデータとの組、および前記距離データからなる群から選択される少なくとも１つを出力することと、を含み得る。このような構成により、輝度データとタイミングデータとの組、または距離データを、例えば短い時間間隔で繰り返し出力することができる。
【0042】
前記処理回路は、前記輝度データと前記タイミングデータとの前記組、および前記距離データのいずれを出力するかを、前記フレーム動作ごとに決定してもよい。これにより、フレーム動作ごとに、輝度データとタイミングデータとの組、および距離データのいずれか適当な方、または両方を出力することができる。
【0043】
前記処理回路は、前記輝度データまたは前記距離データを出力するとき、前記輝度データおよび前記距離データのいずれのデータを含むかを示す識別子を付加して前記輝度データまたは前記距離データを出力してもよい。これにより、輝度データまたは距離データに基づく処理を行う他の装置が、輝度データおよび距離データのいずれが取得したデータに含まれているかを容易に判断することができる。
【0044】
前記処理回路は、前記距離データと、前記輝度データとを、前記シーンに含まれる複数の領域ごとに切り替えて出力してもよい。これにより、シーン中の一部の領域についてのみ、距離データの信頼性が低い場合に、当該領域についてのみ輝度データを出力する、といった制御が可能になる。
【0045】
前記処理回路は、前記輝度データと前記タイミングデータとの前記組の出力と、前記距離データの出力とを切り替えるとき、前記複数のフレーム動作に共通の固定値のデータを出力してもよい。
【0046】
本開示の他の実施形態による情報処理装置は、メモリと、処理回路とを備える。前記処理回路は、センシングデバイスから、複数の露光期間のそれぞれに受光されたシーンからの反射光の反射光量分布を示す輝度データと、前記複数の露光期間のそれぞれのタイミングを示すタイミングデータとを取得し、前記輝度データおよび前記タイミングデータを前記メモリに記録し、前記輝度データに対する画像処理を行い、前記画像処理後の前記輝度データと、前記タイミングデータとに基づき、第１の距離データを生成する。
【0047】
上記の構成によれば、前記処理回路は、前記輝度データに対する画像処理を行い、前記画像処理後の前記輝度データと、前記タイミングデータとに基づき、第１の距離データを生成する。前記画像処理は、例えば前記輝度データのノイズを低減させる処理を含み得る。
【0048】
前記処理回路は、前記センシングデバイスに、前記輝度データと前記タイミングデータとに基づき前記センシングデバイス内部で生成される第２の距離データの出力と、前記輝度データの出力との切替を要求する信号を送信してもよい。
【0049】
前記処理回路は、前記センシングデバイスから、前記第２の距離データおよび前記輝度データのいずれが出力されたかを示す識別データをさらに取得し、前記識別データに基づき、前記センシングデバイスから出力されたデータに対する処理を切り替えてもよい。
【0050】
前記処理回路は、前記センシングデバイスの自己位置を特定し、前記センシングデバイスの前記自己位置が所定の条件を満足するとき、前記センシングデバイスに、前記輝度データの出力を要求する信号を送信してもよい。
【0051】
前記処理回路は、前記輝度データのノイズ量を判定し、前記ノイズ量が基準値より大きいとき、前記センシングデバイスに、前記輝度データの出力を要求する信号を送信してもよい。
【0052】
本開示の他の実施形態によるコンピュータプログラムは、コンピュータに、以下の動作を実行させる。
・光源に、光をシーンに向けて少なくとも１回出射させる。
・受光装置に、前記光による反射光を、複数の露光期間のそれぞれで受光させる。
・前記受光装置からの受光データに基づき、前記複数の露光期間のそれぞれに対応する反射光量分布を示す輝度データであって、前記シーンの距離データを生成するために用いられる輝度データを生成する。
・前記輝度データと、前記複数の露光期間のそれぞれのタイミングを示すタイミングデータとを出力する。
・光源に、光をシーンに向けて少なくとも１回出射させる。
・受光装置に、前記光による反射光を、複数の露光期間のそれぞれで受光させる。
・前記受光装置からの受光データに基づき、前記複数の露光期間のそれぞれに対応する反射光量分布を示す輝度データであって、前記シーンの距離データを生成するために用いられる輝度データを生成する。
・前記輝度データと、前記複数の露光期間のそれぞれのタイミングを示すタイミングデータとを出力する。
【0053】
本開示の他の実施形態によるコンピュータプログラムは、コンピュータに、以下の動作を実行させる。
・センシングデバイスから、複数の露光期間のそれぞれに受光されたシーンからの反射光の反射光量分布を示す輝度データと、前記複数の露光期間のそれぞれのタイミングを示すタイミングデータとを取得する。
・前記輝度データおよび前記タイミングデータを前記メモリに記録する。
・前記輝度データに対する画像処理を行う。
・前記画像処理後の前記輝度データと、前記タイミングデータとに基づき、第１の距離データを生成する。
・センシングデバイスから、複数の露光期間のそれぞれに受光されたシーンからの反射光の反射光量分布を示す輝度データと、前記複数の露光期間のそれぞれのタイミングを示すタイミングデータとを取得する。
・前記輝度データおよび前記タイミングデータを前記メモリに記録する。
・前記輝度データに対する画像処理を行う。
・前記画像処理後の前記輝度データと、前記タイミングデータとに基づき、第１の距離データを生成する。
【0054】
以下、本開示の例示的な実施形態を具体的に説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略または簡略化される場合がある。
【0055】
＜実施形態１＞
本開示の例示的な実施形態１に係るシステムを説明する。
本開示の例示的な実施形態１に係るシステムを説明する。
【0056】
図４Ａは、本実施形態のシステムの物理構成を示すブロック図である。本システムは、制御装置２００と、複数の測距装置１００とを備える。制御装置２００は、例えば自動運転車などの車両の動作を制御する情報処理装置である。各測距装置１００は、当該車両に搭載されるセンシングデバイスであり得る。各測距装置１００は、制御装置２００に有線または無線で接続される。本実施形態のシステムは複数の測距装置１００を備えるが、測距装置１００の数は単数でもよい。
【0057】
測距装置１００は、光源１１０と、受光装置１２０と、第１処理回路１３０と、記録媒体１７０と、入出力インターフェース（ＩＦ）１５０とを備える。制御装置２００は、第２処理回路２３０と、記録媒体２７０と、入出力インターフェース２１０とを備える。
【0058】
光源１１０は、シーンに向けて光を出射する。受光装置１２０は、光源１１０から出射され、物体で反射された光を検出するセンサを含む。第１処理回路１３０は、光源１１０および受光装置１２０を制御して、前述した間接ＴｏＦ法に基づく動作を実行させる。ただし、本実施形態では、測距装置１００は、距離計算そのものは行わず、距離計算の元となる各計測点の輝度データを、露光期間ごとに出力する。このように、本明細書では、自らは距離計算を行わないものの、距離計算に必要なデータを生成する装置を「測距装置」と称する。測距装置１００は、露光期間ごとの各画素の輝度データに加えて、各露光期間の開始時刻および終了時刻を特定するための時刻データを、タイミングデータとして出力する。これらの輝度データおよび時刻データは、制御装置２００に送られる。制御装置２００は、露光期間ごとの輝度データおよびタイミングデータを利用して、上記の演算により、各計測点の距離を計算する。制御装置２００は、計算した距離に基づいて、距離画像または３次元点群のデータを生成することができる。制御装置２００は、さらに、距離画像または３次元点群のデータに基づいて、シーン中の特定の対象物を認識し、認識結果に基づいて車両の作動部、例えばエンジン、ステアリング、ブレーキ、またはアクセル等の動作を制御することができる。
【0059】
測距装置１００は、複数の露光期間のそれぞれについて、１次元的または２次元的に拡がる対象領域における連続する複数の計測点の輝度データを出力する。受光装置１２０が２次元画像を取得可能なイメージセンサを含み得る。その場合、測距装置１００は、当該イメージセンサの複数の画素に対応する２次元的に連続する複数の計測点の輝度データを出力する。一方、測距装置１００が１次元的に光の出射方向を変更しながら反射光の検出を行うセンシングデバイスである場合、測距装置１００は、１次元的に連続する複数の計測点の輝度データを出力する。本実施形態における測距装置１００は、１次元的または２次元的に拡がる対象領域における連続する複数の計測点の輝度データを、露光期間ごとに生成し、各露光期間のタイミングを示すタイミングデータとともに出力する。
【0060】
次に、図４Ｂを参照して、本実施形態のより具体的な構成例を説明する。図４Ｂは、測距装置１００および制御装置２００のより詳細な機能構成を示すブロック図である。図４Ｂでは、複数の測距装置１００のうち、１つの測距装置１００のみ具体的な構成が示されている。他の測距装置１００も同じ構成を備え得る。なお、測距装置１００によって構成が異なっていてもよい。例えば、一部の測距装置１００は、一般的な距離データを出力するように構成されていてもよい。
【0061】
［測距装置の構成］
図４Ｂに示す測距装置１００は、光源１１０と、受光装置１２０と、処理回路１３０と、入出力インターフェース１５０とを備える。図４Ｂの例では、時刻データを出力するクロック１６０が、測距装置１００の外部に設けられている。クロック１６０は、複数の測距装置１００に時刻データを出力する。クロック１６０は、測距装置１００の内部に設けられていてもよい。
図４Ｂに示す測距装置１００は、光源１１０と、受光装置１２０と、処理回路１３０と、入出力インターフェース１５０とを備える。図４Ｂの例では、時刻データを出力するクロック１６０が、測距装置１００の外部に設けられている。クロック１６０は、複数の測距装置１００に時刻データを出力する。クロック１６０は、測距装置１００の内部に設けられていてもよい。
【0062】
本実施形態における光源１１０は、レーザ光を広範囲に拡散させるフラッシュ光の出力手段である。光源１１０は、例えば、レーザ光源と散乱板とを含み、レーザ光を散乱板によって散乱させることで広範囲に広がる光を出射する。
【0063】
受光装置１２０は、イメージセンサ１２１と、光学部品（図示せず）とを含む。光学部品は、例えば１つ以上のレンズを含み、一定の画角の範囲からの光をイメージセンサ１２１の受光面に投射する。光学部品は、プリズムまたはミラー等の他の光学素子を含んでいてもよい。光学部品は、シーン中の物体の１点から拡散した光がイメージセンサ１２１の受光面上の１点に集束するように設計され得る。
【0064】
イメージセンサ１２１は、複数の受光素子１２２が受光面に沿って２次元的に配列されたセンサである。イメージセンサ１２１は、複数の受光素子１２２と、複数の電荷蓄積部１２４と、複数のスイッチ１２３とを備える。複数の受光素子１２２のそれぞれに対応して、複数（例えば３つ）の電荷蓄積部１２４が設けられている。スイッチ１２３は、受光素子１２２ごとに設けられ、受光素子１２２と、当該受光素子１２２に対応する複数の電荷蓄積部１２４との接続を切り替える。各受光素子１２２は、光電変換によって受けた光の量に応じた電荷を、露光期間ごとに生成する。各電荷蓄積部１２４は、対応する露光期間中に受光素子１２２が生成した電荷を蓄積する。各受光素子１２２に対応する電荷蓄積部１２４の数は、間接ＴｏＦによる測距動作に必要な露光期間の数と同数またはそれ以上である。スイッチ１２３は、処理回路１３０からの指示に従い、露光期間の切り替えに応じて、受光素子１２２と電荷蓄積部１２４の接続を切り替える。以下の説明において、１つの受光素子１２２と、当該１つの受光素子１２２に対応する電荷蓄積部１２４と、当該１つの受光素子１２２に対応するスイッチ１２３のまとまりを「画素」と称することがある。
【0065】
イメージセンサ１２１は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、または赤外線アレイセンサであり得る。イメージセンサ１２１は、可視の波長範囲に限らず、例えば紫外、近赤外、中赤外、遠赤外などの波長範囲に検出感度を有していてもよい。イメージセンサ１２１は、ＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）を利用したセンサであってもよい。
【0066】
イメージセンサ１２１は、例えば、全画素の露光を一括で行なう電子シャッタ方式、すなわちグローバルシャッタの機構を備え得る。電子シャッタは、行毎に露光を行うローリングシャッタ方式、または光ビームの照射範囲に合わせた一部のエリアのみ露光を行うエリアシャッタ方式であってもよい。電子シャッタがグローバルシャッタ方式である場合、フラッシュ光と同期してシャッタを制御することで、１度で２次元情報を取得することができる。一方、ローリングシャッタ方式のように、一部の画素ごとに露光タイミングを変えていく方式の場合、露光タイミングが合わなかった画素では受光できないため、取得できる情報量が減少する。ただし、この課題は、画素ごとにシャッタータイミングのずれを補正する処理を行うことで解決できる。後述する変形例のように、光源１１０が広がりの小さい光ビームを出射するビームスキャナである場合には、グローバルシャッタ方式よりもローリングシャッタ方式の方が適している場合もある。
【0067】
受光装置１２０は、シーン中の物体から反射された光を受光する。受光装置１２０は、フレームごとに、イメージセンサ１２１の全画素について、前述の間接ＴｏＦによる露光期間ごとに蓄積された電荷を示すデータを出力する。本実施形態では、１フレームの動作において、複数の露光期間のそれぞれにおいて、距離計算に十分な電荷が蓄積されるように、各露光期間に共通の回数で、投光と露光とが反復される。そして、全ての露光期間で電荷の蓄積が完了した段階で、受光装置１２０は、全露光期間の全画素分のデータを出力する。受光装置１２０は、例えば１秒間に３０フレームのレートで、上記データを出力する。受光装置１２０から出力されたデータは、メモリなどの記録媒体１７０に記録される。
【0068】
記録媒体１７０は、例えばＲＯＭまたはＲＡＭなどのメモリを含み得る。記録媒体１７０は、処理回路１３０によって生成される各種のデータを記録する。記録媒体１７０は、さらに、処理回路１３０によって実行されるコンピュータプログラムを格納していてもよい。
【0069】
処理回路１３０は、光源１１０によるフラッシュ光の投光のタイミングと、受光装置１２０の露光のタイミングとを決定し、そのタイミングに従って、露光制御信号と、投光制御信号とを出力する。また、処理回路１３０は、受光装置１２０の各画素で露光期間ごとに電荷蓄積部１２４に蓄積された電荷を、露光期間ごとに画素値に変換し、画素値の配列データ、すなわち各画素の輝度を表す画像データとして出力する。この露光期間ごとの画像データは、インターフェース１５０を介して制御装置２００に送られる。
【0070】
処理回路１３０は、例えばＣＰＵなどのプロセッサを含む電子回路である。処理回路１３０は、例えば記録媒体１７０に格納されたプログラムを実行することにより、本実施形態における処理を実行する。なお、記録媒体１７０は処理回路１３０に含まれていてもよい。
【0071】
図４Ｂの点線枠３００には、インターフェース１５０から制御装置２００に送られる露光期間ごとの画像データの例が模式的に示されている。この例では、図１および図２に示す３つの露光期間Ａ０、Ａ１、Ａ２で露光が行われる。この例における測距装置１００からの出力データは、１フレームあたり露光期間の数に等しい数の画像データを含む。本実施形態では、出力データは、上記の画像データに加えて、制御装置２００が距離計算を行うために必要な、各露光期間を特定する時刻データと、光源１１０から出射される光パルスの時間長を示すデータとを含む。出力データ形式の詳細については後述する。
【0072】
クロック１６０は、光源１１０の制御に必要な詳細な時刻情報を出力する回路である。クロック１６０は、例えばナノ秒またはマイクロ秒の精度の時刻を計測し、そのデータを出力する。クロック１６０は、例えばリアルタイムクロックなどの集積回路によって実現され得る。クロック１６０は時刻サーバと同期していてもよい。同期には、例えばＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）またはＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）等のプロトコルを利用してもよい。あるいは、ＧＰＳ情報を用いて制御装置２００の時刻を基準とする時刻同期を行ってもよい。なお、時刻同期の方法は上記に限らず、任意である。時刻同期により、測距装置１００は正確な時刻データを取得できる。
【0073】
［制御装置の構成］
次に、本実施形態における制御装置２００の構成を説明する。図４Ｂに示されるように、制御装置２００は、入出力インターフェース２１０と、処理回路２３０と、記録媒体２７０とを備える。制御装置２００は、車両における作動部２４０の動作を制御する。作動部２４０は、例えば、エンジン、ステアリング、ブレーキ、またはアクセル等の、自動運転に関連する動作を行う装置である。
次に、本実施形態における制御装置２００の構成を説明する。図４Ｂに示されるように、制御装置２００は、入出力インターフェース２１０と、処理回路２３０と、記録媒体２７０とを備える。制御装置２００は、車両における作動部２４０の動作を制御する。作動部２４０は、例えば、エンジン、ステアリング、ブレーキ、またはアクセル等の、自動運転に関連する動作を行う装置である。
【0074】
インターフェース２１０は、複数の測距装置１００から出力データを取得する。インターフェース２１０はまた、図示されていない外部のサーバから配信されている地図データを取得する。地図データは、例えばランドマーク地図のデータであり得る。インターフェース２１０は、処理回路２３０が処理に利用する他のデータを取得するように構成されていてもよい。他のデータは、例えば測距装置１００または他のセンサによって取得された、カラー画像、傾き、速度、または加速度のデータであり得る。
【0075】
処理回路２３０は、前処理部２３１、点群データ生成部２３２、環境認識部２３３、および動作制御部２３４を含む。処理回路２３０は、例えばＣＰＵまたはＧＰＵなどのプロセッサを含む電子回路である。処理回路２３０における前処理部２３１、点群データ生成部２３２、環境認識部２３３、および動作制御部２３４の機能は、例えば処理回路２３０のプロセッサが、記録媒体２７０に格納されたプログラムを実行することによって実現され得る。その場合、当該プロセッサが、前処理部２３１、点群データ生成部２３２、環境認識部２３３、動作制御部２３４として機能する。これらの各機能部は、専用のハードウェアによって実現されていてもよい。なお、記録媒体２７０が、処理回路２３０に含まれていてもよい。
【0076】
前処理部２３１は、インターフェース２１０を介して取得した測距装置１００からの出力データに対して、距離計算を行う前にノイズ低減処理などの画像処理を行う。この画像処理を、以下の説明では前処理と称する。ノイズ低減処理は、露光期間ごとの画像データに対して行われる。ノイズ低減処理の詳細については後述する。なお、前処理は、ノイズ低減処理以外に、例えばエッジ抽出または平滑化等の処理を含んでいてもよい。
【0077】
点群データ生成部２３２は、前処理部２３１で処理された露光期間ごとの画像と、各測距装置１００の各露光期間の時刻データとを用いて、各画像の同一座標の画素について、前述の距離計算を行う。点群データ生成部２３２は、各測距装置１００のイメージセンサ１２１の画素ごと、すなわちｘｙ座標上の位置ごとに距離を計算し、距離画像データを生成する。点群データ生成部２３２は、測距装置１００ごとに距離画像データを生成した後、各測距装置１００の位置および方向のデータに基づいて、各測距装置１００の距離画像の各画素の距離を、制御装置２００が基準とする３次元座標上の点に変換する。
【0078】
処理回路２３０は、点群データ生成部２３２によって生成された統一座標での点群データから、自動車、人、自転車等のオブジェクトを抽出する。処理回路２３０は、さらに、当該統一座標での点群データと、地図データとをマッチングして、自己の周辺の状態を認識する。
【0079】
動作制御部２３４は、環境認識部２３３によって特定された、３次元空間中のオブジェクトの位置に基づいて、作動部２４０の動作を決定し、作動部２４０に制御信号を送信する。
【0080】
作動部２４０は、動作制御部２３４から送信された制御信号に応じた動作を実行する。例えば、車両の発進、加速、減速、停止、方向転換等の動作を実行する。
【0081】
［測距装置の動作］
次に、測距装置１００の動作を説明する。
次に、測距装置１００の動作を説明する。
【0082】
図５は、測距装置１００の動作を示すフローチャートである。本実施形態における測距装置１００の処理回路１３０は、図５に示すステップＳ１１２０からＳ１１９０の動作を実行する。以下、各ステップの動作を説明する。
【0083】
（ステップＳ１１２０）
処理回路１３０は、まず、図示されていない外部の装置から動作終了の信号の入力の有無を判断する。ステップＳ１１２０において動作終了信号がある場合、処理回路１３０は動作を終了する。ステップＳ１１２０において動作終了信号がない場合、ステップＳ１１３０に進む。
処理回路１３０は、まず、図示されていない外部の装置から動作終了の信号の入力の有無を判断する。ステップＳ１１２０において動作終了信号がある場合、処理回路１３０は動作を終了する。ステップＳ１１２０において動作終了信号がない場合、ステップＳ１１３０に進む。
【0084】
（ステップＳ１１３０）
処理回路１３０は、制御信号を受光装置１２０に出力し、受光装置１２０は、処理回路１３０が出力した制御信号に従って、電子シャッタを開放する。これにより、１フレーム分の光検出動作を開始する。
処理回路１３０は、制御信号を受光装置１２０に出力し、受光装置１２０は、処理回路１３０が出力した制御信号に従って、電子シャッタを開放する。これにより、１フレーム分の光検出動作を開始する。
【0085】
（ステップＳ１１４０）
処理回路１３０は、１フレームの距離データを生成するのに必要な、あらかじめ定められた露光期間のすべてが終了したか否かを判定する。本実施形態では、各露光期間において、あらかじめ定められた回数の投光と露光が繰り返される。これにより、すべての露光期間について、各画素に電荷が蓄積される。ステップＳ１１４０においてすべての露光期間での電荷蓄積が終了している場合、ステップＳ１１７０に進む。ステップＳ１１４０において、すべての露光期間での電荷蓄積が終了していない場合、ステップＳ１１５０に進む。
処理回路１３０は、１フレームの距離データを生成するのに必要な、あらかじめ定められた露光期間のすべてが終了したか否かを判定する。本実施形態では、各露光期間において、あらかじめ定められた回数の投光と露光が繰り返される。これにより、すべての露光期間について、各画素に電荷が蓄積される。ステップＳ１１４０においてすべての露光期間での電荷蓄積が終了している場合、ステップＳ１１７０に進む。ステップＳ１１４０において、すべての露光期間での電荷蓄積が終了していない場合、ステップＳ１１５０に進む。
【0086】
（ステップＳ１１５０）
処理回路１３０は、あらかじめ定められた露光期間のうち、まだ投光と露光が実行されておらず、電荷の蓄積が行われていない露光期間の１つを選択し、スイッチ１２３に切り替え信号を出力する。これにより、各画素における受光素子１２２と当該露光期間の電荷を蓄積する電荷蓄積部１２４とを接続する。切り替えのタイミングの詳細については後述する。
処理回路１３０は、あらかじめ定められた露光期間のうち、まだ投光と露光が実行されておらず、電荷の蓄積が行われていない露光期間の１つを選択し、スイッチ１２３に切り替え信号を出力する。これにより、各画素における受光素子１２２と当該露光期間の電荷を蓄積する電荷蓄積部１２４とを接続する。切り替えのタイミングの詳細については後述する。
【0087】
（ステップＳ１１６０）
処理回路１３０は、クロック１６０からの時刻データを参照して、選択した露光期間について、あらかじめ定められた露光開始時間と露光終了時間に従って、光源１１０の投光タイミングと受光装置１２０の露光タイミングを制御する信号を生成する。光源１１０は、処理回路１３０が出力した制御信号に従って、あらかじめ定められた時間長のパルス状のフラッシュ光を出射する。受光装置１２０は、光源１１０の投光開始時点を基準に、あらかじめ定められた当該露光期間の開始時間と終了時間に従って露光を行い、当該露光期間の間に光電変換によって生じた電荷を、ステップＳ１１５０において選択された電荷蓄積部１２４に蓄積する。投光と露光のタイミングの詳細については後述する。
処理回路１３０は、クロック１６０からの時刻データを参照して、選択した露光期間について、あらかじめ定められた露光開始時間と露光終了時間に従って、光源１１０の投光タイミングと受光装置１２０の露光タイミングを制御する信号を生成する。光源１１０は、処理回路１３０が出力した制御信号に従って、あらかじめ定められた時間長のパルス状のフラッシュ光を出射する。受光装置１２０は、光源１１０の投光開始時点を基準に、あらかじめ定められた当該露光期間の開始時間と終了時間に従って露光を行い、当該露光期間の間に光電変換によって生じた電荷を、ステップＳ１１５０において選択された電荷蓄積部１２４に蓄積する。投光と露光のタイミングの詳細については後述する。
【0088】
ステップＳ１１４０からステップＳ１１６０が繰り返されることにより、１フレーム分の受光動作が完了する。
【0089】
（ステップＳ１１７０）
ステップＳ１１４０において全露光期間での投光と受光が完了したと判断した場合、処理回路１３０は、受光装置１２０におけるシャッタを閉じる。
ステップＳ１１４０において全露光期間での投光と受光が完了したと判断した場合、処理回路１３０は、受光装置１２０におけるシャッタを閉じる。
【0090】
（ステップＳ１１８０）
処理回路１３０は、ステップＳ１１３０からステップＳ１１６０の一連の動作によって各画素の各電荷蓄積部１２４に蓄積された各露光期間での電荷を読み出し、当該電荷を画素値に変換して記録媒体１７０に記録する。処理回路１３０は、さらに、各電荷蓄積部１２４の電荷を消去する。
処理回路１３０は、ステップＳ１１３０からステップＳ１１６０の一連の動作によって各画素の各電荷蓄積部１２４に蓄積された各露光期間での電荷を読み出し、当該電荷を画素値に変換して記録媒体１７０に記録する。処理回路１３０は、さらに、各電荷蓄積部１２４の電荷を消去する。
【0091】
（ステップＳ１１９０）
処理回路１３０は、ステップＳ１１８０で読み出した露光期間ごとの電荷を画素値に変換し、露光期間ごとに輝度画像データを生成する。さらに、処理回路１３０は、露光期間ごとの輝度画像データに加えて、あらかじめ定められたフレーム数ごと、あるいは各フレームの先頭に、各露光期間を特定するためのタイミングデータを付加する。タイミングデータは、例えば、露光期間の開始時刻と終了時刻の情報を含み得る。処理回路１３０は、露光期間ごとの輝度画像データと、各露光期間を特定するためのタイミングデータとを含む出力データを、インターフェース１５０を介して出力する。出力データの具体例については後述する。出力後、ステップＳ１１２０に戻る。
処理回路１３０は、ステップＳ１１８０で読み出した露光期間ごとの電荷を画素値に変換し、露光期間ごとに輝度画像データを生成する。さらに、処理回路１３０は、露光期間ごとの輝度画像データに加えて、あらかじめ定められたフレーム数ごと、あるいは各フレームの先頭に、各露光期間を特定するためのタイミングデータを付加する。タイミングデータは、例えば、露光期間の開始時刻と終了時刻の情報を含み得る。処理回路１３０は、露光期間ごとの輝度画像データと、各露光期間を特定するためのタイミングデータとを含む出力データを、インターフェース１５０を介して出力する。出力データの具体例については後述する。出力後、ステップＳ１１２０に戻る。
【0092】
処理回路１３０は、ステップＳ１１２０からステップＳ１１９０の動作を繰り返す。この繰り返しの単位を「フレーム動作」と称することがある。複数のフレーム動作を繰り返すことにより、フレームごとに距離計算に必要なデータが出力される。出力データは、制御装置２００に送られる。
【0093】
本実施形態では、ステップＳ１１９０において、露光期間ごとの輝度画像データに加えて、各露光期間のタイミングデータを含む出力データが生成される。出力データには、投光時間すなわち光ビームのパルスの時間長のデータが含まれていてもよい。
【0094】
［投光および受光の動作の例］
本実施形態の測距装置１００の動作のうち、投光および露光の動作の具体例を説明する。
本実施形態の測距装置１００の動作のうち、投光および露光の動作の具体例を説明する。
【0095】
図６は、測距装置１００による投光および露光の動作の例を示すタイムチャートである。図６は、１フレーム分の投光および露光の動作の例を時間軸上で表している。上段から順に、光源１１０の投光タイミング、受光装置１２０の露光タイミング、受光装置１２０のシャッタ開放期間、電荷蓄積部１２４の読み出しタイミングを示している。受光装置１２０のシャッタは、ステップＳ１１３０において１フレーム分の投光および露光を開始する時点で開放され、露光動作が完了するまで閉じられない。シャッタの開放によって１フレームの動作が開始される。ステップＳ１１５０において複数の露光期間の１つが選択され、各画素において、当該露光期間に対応する電荷蓄積部１２４と受光素子１２２とがスイッチ１２３によって接続される。
【0096】
本実施形態では、露光期間Ａ０、Ａ１、およびＡ２のそれぞれにおいて、光源１１０によるフラッシュ光のパルス状の投光が繰り返し行われる。パルスの時間長Ｔ０は、例えば９０ナノ秒（ｎｓｅｃ）程度であり得る。投光開始時点を時間の起点として、各露光期間の開始時点から終了時点までの間、当該露光期間に対応する電荷蓄積部１２４と受光素子１２２とがスイッチ１２３によって接続される。図６の上部の点線枠内に、各露光期間における連続する２回の投光および露光のタイミングの例が示されている。
【0097】
露光期間Ａ０において、露光の開始および終了のタイミングは、投光の開始および終了のタイミングと同じである。例えば、露光開始時点は０ｎｓｅｃであり、露光終了時点は９０ｎｓｅｃ、すなわち投光されるパルスの時間長と同じである。スイッチは投光と同時に接続され、投光終了と同時に切断される。光源１１０による投光と、受光素子１２２による受光および電荷蓄積部１２４への電荷の蓄積とが所定の回数繰り返される。１回の投光では反射光のエネルギーが小さい場合であっても、複数回の受光による電荷蓄積によって計測可能にすることができる。
【0098】
露光期間Ａ０において所定の回数の投光と露光が完了すると、次の露光期間Ａ１が選択される。新たに選択された露光期間Ａ１では、当該露光期間に対応する電荷蓄積部１２４と受光素子１２２とが、スイッチ１２３によって接続される。露光期間が変わっても光源１１０によるフラッシュ光の投光タイミングは変わらない。一方、新たに選択された露光期間Ａ１では、図６の拡大図に示すように、投光開始時点から、パルスの時間長Ｔ０（例えば９０ｎｓｅｃ）だけ経過した時点で露光が開始され、露光開始後Ｔ０だけ経過した時点で露光が終了する。すなわち、投光終了と同時に露光を開始し、投光のパルス長と同じ時間長Ｔ０で露光するように、スイッチ１２３が、当該露光期間に対応する電荷蓄積部１２４と受光素子１２２とを接続する。露光期間Ａ０と同様に、電荷蓄積部１２４は、反復された露光によって蓄積された電荷を保持する。
【0099】
露光期間Ａ１において所定の回数の投光と露光が完了すると、さらに露光期間Ａ２での投光と露光が行われる。露光期間Ａ２では、図６の拡大図に示すように、投光開始時点から２Ｔ０（例えば、１８０ｎｓｅｃ）経過した時点で露光が開始され、露光開始後Ｔ０経過した時点で露光が終了する。すなわち、投光終了後、さらに投光の時間長Ｔ０が経過した時点で露光が開始される。露光期間Ａ２における露光時間長も、露光期間Ａ０およびＡ１と同様に、Ｔ０である。露光期間Ａ２でも、所定回数の投光と露光とが繰り返されることにより、電荷蓄積部１２４に電荷が蓄積される。
【0100】
露光期間Ａ０、Ａ１、およびＡ２のすべてで電荷蓄積が完了すると、処理回路１３０は、受光装置１２０にシャッタを閉鎖させる（ステップＳ１１７０）。そして、処理回路１３０は、各画素の電荷蓄積部１２４に蓄積された各露光期間に対応する電荷を読み出す。処理回路１３０は、読み出した電荷に基づき、露光期間ごとに輝度画像データを生成して出力する。
【0101】
［データフォーマットの例］
次に、本実施形態の測距装置１００が出力するデータの形式の例を説明する。
次に、本実施形態の測距装置１００が出力するデータの形式の例を説明する。
【0102】
図７Ａおよび図７Ｂは、測距装置１００のインターフェース１５０から出力される露光期間ごとの画像データの出力形式の例を示している。この例における出力データは、複数のフレームに共通する固定値のデータと、フレームごとに異なるデータとを含む。複数のフレームに共通するデータとして、例えば、出力データの先頭に１回、あるいは、あらかじめ定められた数のフレームに１回、固定値が出力される。
【0103】
固定値は、例えば、位置、方向、画角、画素配置、露光期間Ａ０、露光期間Ａ１、および露光期間Ａ２のデータを含む。「位置」は、イメージセンサ１２１の車両内での位置を示す。位置は、例えば車両の中心を原点とした３次元座標で表現された３バイトのデータであり得る。「方向」は、イメージセンサ１２１の表面の受光面が面する方向を示す。方向は、例えば車両の中心を原点とした３次元座標で表現された受光面の法線ベクトルを表す３バイトのデータであり得る。「画角」は、イメージセンサ１２１の画角を示し、例えば２バイトで表現され得る。「画素配置」は、イメージセンサ１２１のｘ方向およびｙ方向のそれぞれの画素の数を示し、例えば１バイトのデータであり得る。「露光期間Ａ０」、「露光期間Ａ１」、および「露光期間Ａ２」は、それぞれの露光期間の時間範囲を示す。これらの時間範囲は、例えば、対応する投光の開始時点からの経過時間をナノ秒の単位で記述した１バイトのデータで表現され得る。なお、１フレームあたりの露光期間の数は３以外の数であってもよい。また、露光期間数が動作中に変化してもよい。例えば、別途、固定値として露光期間数が定義され、露光期間ごとの時間のデータが出力されてもよい。
【0104】
フレームごとの出力データは、例えば、日付、時刻、露光期間Ａ０の輝度画像、露光期間Ａ１の輝度画像、露光期間Ａ２の輝度画像のデータを含む。日付は、例えば年、月、日を示すデータであり、１バイトで表現され得る。時刻は、例えば時、分、秒、ミリ秒、マイクロ秒を示すデータであり、５バイトで表現され得る。露光期間Ａ０の輝度画像は、露光期間Ａ０で蓄積された各画素の電荷から変換された画素値の集合であり、例えば画素ごとに１バイトのデータとして表現され得る。露光期間Ａ１の輝度画像および露光期間Ａ２の輝度画像についても同様に、例えば画素ごとに１バイトのデータとして表現され得る。
【0105】
［制御装置の動作］
次に、制御装置２００の動作の例を説明する。
次に、制御装置２００の動作の例を説明する。
【0106】
図８は、本実施形態における制御装置２００の動作を示すフローチャートである。制御装置２００の処理回路２３０は、図８に示すステップＳ２１２０からＳ２２００の動作を実行する。以下、各ステップの動作を説明する。
【0107】
（ステップＳ２１２０）
処理回路２３０は、図示されていない外部の装置から動作終了の信号が入力されているか否かを判断する。動作終了信号が入力されている場合、動作を終了する。動作終了信号が入力されていない場合、ステップＳ２１３０に進む。
処理回路２３０は、図示されていない外部の装置から動作終了の信号が入力されているか否かを判断する。動作終了信号が入力されている場合、動作を終了する。動作終了信号が入力されていない場合、ステップＳ２１３０に進む。
【0108】
（ステップＳ２１３０）
処理回路２３０は、測距装置１００からデータの入力があるか否かを判定する。測距装置１００からデータの入力がある場合、ステップＳ２１４０に進む。測距装置１００からデータの入力がない場合、ステップＳ２１２０に戻る。
処理回路２３０は、測距装置１００からデータの入力があるか否かを判定する。測距装置１００からデータの入力がある場合、ステップＳ２１４０に進む。測距装置１００からデータの入力がない場合、ステップＳ２１２０に戻る。
【0109】
（ステップＳ２１４０）
処理回路２３０は、測距装置１００から取得したデータについて、距離計算の精度を向上させるための前処理を行う。前処理は、例えばノイズ除去処理を含む。ここで、測距装置１００は、図７Ａおよび図７Ｂに示すフォーマットでデータを出力するものとする。この場合、前処理は、露光期間Ａ０に対応する画像データと、露光期間Ａ１に対応する画像データと、露光期間Ａ２に対応する画像データに対して行われる。処理回路２３０は、それぞれの露光期間に対応する画像データに対して、個別にノイズ除去処理を行う。ノイズ除去処理の方法として、例えば、ウィーナーフィルタを用いた適応フィルタ処理が行われ得る。
処理回路２３０は、測距装置１００から取得したデータについて、距離計算の精度を向上させるための前処理を行う。前処理は、例えばノイズ除去処理を含む。ここで、測距装置１００は、図７Ａおよび図７Ｂに示すフォーマットでデータを出力するものとする。この場合、前処理は、露光期間Ａ０に対応する画像データと、露光期間Ａ１に対応する画像データと、露光期間Ａ２に対応する画像データに対して行われる。処理回路２３０は、それぞれの露光期間に対応する画像データに対して、個別にノイズ除去処理を行う。ノイズ除去処理の方法として、例えば、ウィーナーフィルタを用いた適応フィルタ処理が行われ得る。
【0110】
処理回路２３０は、フィルタ処理により、各画像データにおける空間周波数の高い成分を取り除くことで、ノイズを除去する。フィルタは、ウィーナーフィルタ以外のフィルタ、例えばガウスフィルタでもよい。各画像データにおける空間周波数の高い成分を取り除くために、例えばラプラシアンフィルタなどの、あらかじめ定められたフィルタを用いた畳み込み演算による平滑化処理を行ってもよい。前処理として、適応フィルタ以外のノイズ除去処理を行ってもよい。また。コントラスト強調、またはエッジ抽出のような、ノイズ除去処理以外の信号処理を行ってもよい。
【0111】
（ステップＳ２１５０）
処理回路２３０は、ステップＳ２１４０でノイズ除去処理が行われた露光期間ごとの画像データを用いて、画素ごとに距離を計算する。処理回路２３０は、露光期間ごとの画像データから同一画素の画素値を抽出し、前述の計算式（４）および（５）に基づいて飛行時間を計算し、さらに距離を計算する。
処理回路２３０は、ステップＳ２１４０でノイズ除去処理が行われた露光期間ごとの画像データを用いて、画素ごとに距離を計算する。処理回路２３０は、露光期間ごとの画像データから同一画素の画素値を抽出し、前述の計算式（４）および（５）に基づいて飛行時間を計算し、さらに距離を計算する。
【0112】
（ステップＳ２１６０）
処理回路２３０は、さらに、ステップＳ２１５０で計算した画素ごとの距離と、ステップＳ２１４０でノイズ除去処理を行った露光期間ごとの画像データとを用いて、距離が計算された画素の反射率を計算する。反射率は、距離ごとにあらかじめ定められた反射率１００％での値に対する、バックグラウンドノイズが除去された、各露光期間の画素値の合計の値の比率である。反射率１００％での値は、例えば、基準となる白色ボードからの反射光の画素値を受光装置１２０からの距離ごとに予め計測することによって得られる。距離ごとの反射率１００％の値は、記録媒体２７０に予めテーブルなどの形式で記録され得る。
処理回路２３０は、さらに、ステップＳ２１５０で計算した画素ごとの距離と、ステップＳ２１４０でノイズ除去処理を行った露光期間ごとの画像データとを用いて、距離が計算された画素の反射率を計算する。反射率は、距離ごとにあらかじめ定められた反射率１００％での値に対する、バックグラウンドノイズが除去された、各露光期間の画素値の合計の値の比率である。反射率１００％での値は、例えば、基準となる白色ボードからの反射光の画素値を受光装置１２０からの距離ごとに予め計測することによって得られる。距離ごとの反射率１００％の値は、記録媒体２７０に予めテーブルなどの形式で記録され得る。
【0113】
図９は、記録媒体２７０に記録されるテーブルの例を示している。この例におけるテーブルは、受光装置１２０の受光面からの距離と、その距離に位置する仮想的な反射率１００％の白色ボードからの反射光を検出した場合の画素値との対応関係を規定する。反射率１００％の値は、距離に対する関数として記録されていてもよい。距離と、反射率１００％の値との対応関係を規定するテーブルまたは関数は、測距装置１００から制御装置２００に送信されてもよい。
【0114】
（ステップＳ２１７０）
処理回路２３０は、ステップＳ２１５０で計算された画素ごとの距離のデータ、すなわち距離画像データを、３次元点群データに変換する。ここで、距離画像データの画素のうち、距離の値が０または無限大である画素については、点群データのポイントとみなされず、変換は行われない。距離画像データの画素のうち、有効な距離が計算された画素についてのみ、変換が行われる。変換は、例えば以下のようにして行われる。まず、図７Ａおよび図７Ｂに示す測距装置１００の位置のデータを参照して、測距装置１００の座標系の原点と、制御装置２００に設定されたデータ統合のための座標系の原点との距離を計算する。さらに、図７Ａおよび図７Ｂに示す測距装置１００の方向のデータを参照して、制御装置２００の統合座標系の座標軸に対する測距装置１００の座標軸の回転量を計算する。計算された距離と回転量とに基づいて、ステップＳ２１５０で生成された距離画像中の有効な距離の値を持つ画素について、座標変換を行う。
処理回路２３０は、ステップＳ２１５０で計算された画素ごとの距離のデータ、すなわち距離画像データを、３次元点群データに変換する。ここで、距離画像データの画素のうち、距離の値が０または無限大である画素については、点群データのポイントとみなされず、変換は行われない。距離画像データの画素のうち、有効な距離が計算された画素についてのみ、変換が行われる。変換は、例えば以下のようにして行われる。まず、図７Ａおよび図７Ｂに示す測距装置１００の位置のデータを参照して、測距装置１００の座標系の原点と、制御装置２００に設定されたデータ統合のための座標系の原点との距離を計算する。さらに、図７Ａおよび図７Ｂに示す測距装置１００の方向のデータを参照して、制御装置２００の統合座標系の座標軸に対する測距装置１００の座標軸の回転量を計算する。計算された距離と回転量とに基づいて、ステップＳ２１５０で生成された距離画像中の有効な距離の値を持つ画素について、座標変換を行う。
【0115】
（ステップＳ２１８０）
処理回路２３０は、ステップＳ２１７０で生成した点群データと、外部から取得した地図データとに基づいて、測距装置１００の周辺の環境を認識する。環境の認識は、地図データと点群データとのマッチングを行うことによって行われ得る。例えば、処理回路２３０は、点群データから、地図に含まれる固定物に一致する固定物を特定し、その固定物と測距装置１００との位置関係を特定する。さらに、処理回路２３０は、ステップＳ２１６０で計算された点ごとの反射率の情報を利用して、点群データを物体ごとにグルーピングする。これにより、測距装置１００の周辺にあって、地図には含まれない移動体、例えば人、動物、自転車、または自動車等を抽出することができる。
処理回路２３０は、ステップＳ２１７０で生成した点群データと、外部から取得した地図データとに基づいて、測距装置１００の周辺の環境を認識する。環境の認識は、地図データと点群データとのマッチングを行うことによって行われ得る。例えば、処理回路２３０は、点群データから、地図に含まれる固定物に一致する固定物を特定し、その固定物と測距装置１００との位置関係を特定する。さらに、処理回路２３０は、ステップＳ２１６０で計算された点ごとの反射率の情報を利用して、点群データを物体ごとにグルーピングする。これにより、測距装置１００の周辺にあって、地図には含まれない移動体、例えば人、動物、自転車、または自動車等を抽出することができる。
【0116】
地図データと点群データとのマッチングは、例えば以下のようにして行われ得る。まず、ランドマーク地図を参照し、検出対象とすべきランドマークを選択し、そのランドマークの位置座標等の情報を読み取る。そして、測距装置１００の出力データに基づき、当該ランドマークまでの距離を計算する。ランドマークの座標と、計算したランドマークまでの距離とに基づいて、マッチングを行うことができる。
【0117】
前処理が行われた輝度画像データと点群データは、同一の測距装置１００から出力されたデータに基づいて生成されるため、姿勢のずれがない。従って、歪み補正を行うことなく、上記の画像データと点群データとを重ね合わせることができる。処理回路２３０は、当該輝度画像データから、点群のグルーピングによって求めた対象物と重なる対象物を抽出することによって対象物の識別を行ってもよい。点群のグルーピングのみでは対象物の境界を明確にするのが困難な場合でも、位置ずれの無い輝度画像を用いた画素のグルーピングの結果と照らし合わせることで、対象物の境界がより明確となる。このように、輝度画像データと点群データとの双方から得られる情報を統合することにより、シーンを３次元空間としてより正確に再現することが可能となる。輝度画像データから対象物を抽出する際には、ＡＩによる物体認識等の周知の画像認識処理を用いることができる。また、輝度画像データに対する前処理として、エッジ抽出、コントラスト強調等の画像処理を行ってもよい。
【0118】
（ステップＳ２１９０）
処理回路２３０は、ステップＳ２１８０において抽出された３次元空間内の建物等の構造物と移動体の配置に基づいて、ブレーキ、アクセル、ハンドル等の作動部２４０の動作を決定する。
処理回路２３０は、ステップＳ２１８０において抽出された３次元空間内の建物等の構造物と移動体の配置に基づいて、ブレーキ、アクセル、ハンドル等の作動部２４０の動作を決定する。
【0119】
（ステップＳ２２００）
処理回路２３０は、ステップＳ２１９０で決定した作動部２４０の動作に基づき、作動部２４０を制御する制御信号を生成し、出力する。
処理回路２３０は、ステップＳ２１９０で決定した作動部２４０の動作に基づき、作動部２４０を制御する制御信号を生成し、出力する。
【0120】
［効果］
以上のように、本実施形態の測距装置１００は、複数の露光期間のそれぞれにおいて、投光と露光とを行うことにより、露光期間ごとに輝度画像データを生成する。制御装置２００は、露光期間ごとの輝度画像データに基づき、各画素の距離を計算し、さらに距離データを３次元点群データに変換する。制御装置２００は、距離計算の前に、露光期間ごとの輝度画像データに対してノイズ除去などの前処理を行う。これにより、距離をより正確に計算することができる。さらに、距離計算によって失われる反射率を計算することで、点群データに基づく対象物の抽出あるいは認識の精度を向上させることができる。
以上のように、本実施形態の測距装置１００は、複数の露光期間のそれぞれにおいて、投光と露光とを行うことにより、露光期間ごとに輝度画像データを生成する。制御装置２００は、露光期間ごとの輝度画像データに基づき、各画素の距離を計算し、さらに距離データを３次元点群データに変換する。制御装置２００は、距離計算の前に、露光期間ごとの輝度画像データに対してノイズ除去などの前処理を行う。これにより、距離をより正確に計算することができる。さらに、距離計算によって失われる反射率を計算することで、点群データに基づく対象物の抽出あるいは認識の精度を向上させることができる。
【0121】
本実施形態の構成は一例に過ぎず、本実施形態には多様な変形例が想定される。以下、本実施形態のいくつかの変形例を説明する。
【0122】
＜実施形態１の変形例１＞
実施形態１における光源１１０は、レーザ光を広範囲に拡散させるフラッシュ光を出射するが、光源１１０は、フラッシュ光よりも広がりの小さい光ビームを出射するように構成されていてもよい。レーザ光などの光ビームを使用することにより、フラッシュ光を使用する場合よりも、光のエネルギ密度を高くすることができる。このため、より遠方の物体からの反射光を検出することができる。広い範囲に投光するために、光源１１０は、光の向きを変えて複数回投光を行うように制御される。
実施形態１における光源１１０は、レーザ光を広範囲に拡散させるフラッシュ光を出射するが、光源１１０は、フラッシュ光よりも広がりの小さい光ビームを出射するように構成されていてもよい。レーザ光などの光ビームを使用することにより、フラッシュ光を使用する場合よりも、光のエネルギ密度を高くすることができる。このため、より遠方の物体からの反射光を検出することができる。広い範囲に投光するために、光源１１０は、光の向きを変えて複数回投光を行うように制御される。
【0123】
［測距装置の構成］
本変形例における測距装置１００の構成は、図４Ｂに示す構成と同じである。但し、光源１１０の機能および動作が異なる。以下、実施形態１と異なる点を中心に、本変形例の構成および動作を説明する。
本変形例における測距装置１００の構成は、図４Ｂに示す構成と同じである。但し、光源１１０の機能および動作が異なる。以下、実施形態１と異なる点を中心に、本変形例の構成および動作を説明する。
【0124】
本変形例における光源１１０は、光ビームの出射方向を変化させることができるビームスキャナである。光源１１０は、処理回路１３０からの指令に応答して、シーン内の一部の領域を光ビームで順次照射する。この機能を実現するため、光源１１０は、光ビームの出射方向を変化させる機構を備える。
【0125】
図１０は、光源１１０の一例を示す図である。この例における光源１１０は、レーザなどの発光素子と、少なくとも１つの可動ミラー、例えばＭＥＭＳミラーとを備える。発光素子から出射された光は、可動ミラーによって反射され、シーン内の所定の領域に向かう。処理回路１３０は、可動ミラーを駆動することにより、光ビームの出射方向を変化させることができる。これにより、例えばシーンを１次元的または２次元的に光ビームでスキャンすることができる。
【0126】
可動ミラーを有する構造とは異なる構造によって光の出射方向を変化させることが可能な光源を用いてもよい。例えば、特許文献４に開示されているような、反射型導波路を利用した光源を用いてもよい。
【0127】
図１１Ａは、反射型導波路を利用した光源１１０の例を模式的に示す斜視図である。参考のために、互いに直交するＸ軸、Ｙ軸、およびＺ軸が模式的に示されている。光源１１０は、光導波路アレイ１０Ａと、位相シフタアレイ２０Ａと、光分岐器３０と、それらが集積された基板４０とを備える。光導波路アレイ１０Ａは、Ｙ方向に配列された複数の光導波路素子１０を含む。各光導波路素子１０はＸ方向に延びている。位相シフタアレイ２０ＡはＹ方向に配列された複数の位相シフタ２０を含む。各位相シフタ２０はＸ方向に延びた光導波路を備える。光導波路アレイ１０Ａにおける複数の光導波路素子１０は、位相シフタアレイ２０Ａにおける複数の位相シフタ２０にそれぞれ接続されている。位相シフタアレイ２０Ａには光分岐器３０が接続されている。
【0128】
不図示の発光素子から発せられた光Ｌ０は、光分岐器３０を介して位相シフタアレイ２０Ａにおける複数の位相シフタ２０に入力される。複数の位相シフタ２０を通過した光は、位相がＹ方向に一定量ずつシフトした状態で、複数の光導波路素子１０にそれぞれ入力される。複数の光導波路素子１０にそれぞれ入力された光は、光ビームＬ２として、ＸＹ平面に平行な光出射面１０ｓから、光出射面１０ｓに交差する方向に出射される。
【0129】
図１１Ｂは、光導波路素子１０の構造の例を模式的に示す図である。光導波路素子１０は、互いに対向する第１ミラー１１と第２ミラー１２との間に位置する光導波層１５と、光導波層１５に駆動電圧を印加するための一対の電極１３および１４とを含む。光導波層１５は、例えば液晶材料または電気光学材料などの、電圧の印加によって屈折率が変化する材料によって構成され得る。第１ミラー１１の透過率は、第２ミラー１２の透過率よりも高い。第１ミラー１１および第２ミラー１２の各々は、例えば、複数の高屈折率層および複数の低屈折率層が交互に積層された多層反射膜から形成され得る。
【0130】
光導波層１５に入力された光は、光導波層１５内を第１ミラー１１および第２ミラー１２によって反射されながらＸ方向に沿って伝搬する。図１１Ｂにおける矢印は、光が伝搬する様子を模式的に表している。光導波層１５内を伝搬する光の一部は、第１ミラー１１を通して外部に出射される。
【0131】
電極１３および１４に駆動電圧を印加することにより、光導波層１５の屈折率が変化し、光導波路素子１０から外部に出射される光の方向が変化する。駆動電圧の変化に応じて、光導波路アレイ１０Ａから出射される光ビームＬ２の方向が変化する。具体的には、図１１Ａに示す光ビームＬ２の出射方向を、Ｘ軸に平行な第１の方向Ｄ１に沿って変化させることができる。
【0132】
図１１Ｃは、位相シフタ２０の例を模式的に示す図である。位相シフタ２０は、例えば熱によって屈折率が変化する熱光学材料を含む全反射導波路２１と、全反射導波路２１に熱的に接触するヒータ２２と、ヒータ２２に駆動電圧を印加するための一対の電極２３および２４とを含む。全反射導波路２１の屈折率は、ヒータ２２、基板４０、および空気の屈折率よりも高い。屈折率差により、全反射導波路２１に入力された光は、全反射導波路２１内を全反射されながらＸ方向に沿って伝搬する。
【0133】
一対の電極２３および２４に駆動電圧を印加することにより、全反射導波路２１がヒータ２２によって加熱される。その結果、全反射導波路２１の屈折率が変化し、全反射導波路２１の端から出力される光の位相がシフトする。図１１Ａに示す複数の位相シフタ２０における隣り合う２つの位相シフタ２０から出力される光の位相差を変化させることにより、光ビームＬ２の出射方向を、Ｙ軸に平行な第２の方向Ｄ２に沿って変化させることができる。
【0134】
以上の構成により、光源１１０は、光ビームＬ２の出射方向を２次元的に変化させることができる。
【0135】
上記のような光源１１０の動作原理、および動作方法などの詳細は、例えば特許文献４に開示されている。特許文献４の開示内容の全体を本明細書に援用する。
【0136】
本変形例では、処理回路１３０は、光ビームの投光ごとに、イメージセンサ１２１における一部の領域の受光素子が受光したときに蓄積された電荷を、当該光ビームの投光の時刻と関連付けて記録媒体１７０に記録する。
【0137】
図１２は、記録媒体１７０に記録され得るデータの例を示す図である。記録媒体１７０は、光ビームが規定回数投光されるごとに、投光の時刻の代表値と、投光時刻の代表値を表す時刻ＩＤとを関連付けて記憶する。また、光ビームの投光に伴って電荷蓄積部１２４が蓄積した電荷と、当該投光に対応する時刻ＩＤとを、受光素子１２２ごと、すなわち画素ごとに記憶する。光ビームの投光は露光ごとに行われるので、電荷と時刻ＩＤは露光ごとに記録される。
【0138】
［測距装置の動作］
次に、本変形例における測距装置１００の動作を説明する。図１３は、本変形例における測距装置１００の動作を示すフローチャートである。図１３に示すフローチャートでは、図５に示すフローチャートにステップＳ３１１０およびＳ３１２０が追加され、ステップＳ１１８０がステップＳ３１３０に変更されている。以下、各ステップの動作を説明する。
次に、本変形例における測距装置１００の動作を説明する。図１３は、本変形例における測距装置１００の動作を示すフローチャートである。図１３に示すフローチャートでは、図５に示すフローチャートにステップＳ３１１０およびＳ３１２０が追加され、ステップＳ１１８０がステップＳ３１３０に変更されている。以下、各ステップの動作を説明する。
【0139】
（ステップＳ１１２０）
処理回路１３０は、まず、図示されていない外部の装置から動作終了の信号の入力の有無を判断する。ステップＳ１１２０において動作終了信号がある場合、処理回路１３０は動作を終了する。ステップＳ１１２０において動作終了信号がない場合、ステップＳ３１１０に進む。
処理回路１３０は、まず、図示されていない外部の装置から動作終了の信号の入力の有無を判断する。ステップＳ１１２０において動作終了信号がある場合、処理回路１３０は動作を終了する。ステップＳ１１２０において動作終了信号がない場合、ステップＳ３１１０に進む。
【0140】
（ステップＳ３１１０）
処理回路１３０は、あらかじめ定められた、または図示されていない外部の装置によって指定された１つ以上の投光方向のうちのすべての投光方向についての動作が終了したか否かを判断する。すべての投光方向で動作が終了したと判断された場合、ステップＳ１１９０に進む。すべての投光方向で動作が終了していないと判断された場合、ステップＳ３１２０に進む。
処理回路１３０は、あらかじめ定められた、または図示されていない外部の装置によって指定された１つ以上の投光方向のうちのすべての投光方向についての動作が終了したか否かを判断する。すべての投光方向で動作が終了したと判断された場合、ステップＳ１１９０に進む。すべての投光方向で動作が終了していないと判断された場合、ステップＳ３１２０に進む。
【0141】
（ステップＳ３１２０）
処理回路１３０は、あらかじめ定められた、または図示されていない外部の装置によって指定された１つ以上の投光方向のうち、まだ投光を行っていない方向のうちの１つを選択する。
処理回路１３０は、あらかじめ定められた、または図示されていない外部の装置によって指定された１つ以上の投光方向のうち、まだ投光を行っていない方向のうちの１つを選択する。
【0142】
（ステップＳ１１３０）
処理回路１３０は、制御信号を受光装置１２０に出力し、受光装置１２０は、処理回路１３０が出力した制御信号に従って、電子シャッタを開放する。これにより、１つの投光方向についての光検出動作を開始する。
処理回路１３０は、制御信号を受光装置１２０に出力し、受光装置１２０は、処理回路１３０が出力した制御信号に従って、電子シャッタを開放する。これにより、１つの投光方向についての光検出動作を開始する。
【0143】
（ステップＳ１１４０）
処理回路１３０は、距離データを生成するのに必要な、あらかじめ定められた露光期間のすべてが終了したか否かを判定する。ステップＳ１１４０においてすべての露光期間での電荷蓄積が終了している場合、ステップＳ１１７０に進む。ステップＳ１１４０において、すべての露光期間での電荷蓄積が終了していない場合、ステップＳ１１５０に進む。
処理回路１３０は、距離データを生成するのに必要な、あらかじめ定められた露光期間のすべてが終了したか否かを判定する。ステップＳ１１４０においてすべての露光期間での電荷蓄積が終了している場合、ステップＳ１１７０に進む。ステップＳ１１４０において、すべての露光期間での電荷蓄積が終了していない場合、ステップＳ１１５０に進む。
【0144】
（ステップＳ１１５０）
処理回路１３０は、あらかじめ定められた露光期間のうち、まだ投光と露光が実行されておらず、電荷の蓄積が行われていない露光期間の１つを選択し、スイッチ１２３に切り替え信号を出力する。
処理回路１３０は、あらかじめ定められた露光期間のうち、まだ投光と露光が実行されておらず、電荷の蓄積が行われていない露光期間の１つを選択し、スイッチ１２３に切り替え信号を出力する。
【0145】
（ステップＳ１１６０）
処理回路１３０は、クロック１６０からの時刻データを参照して、選択した露光期間について、あらかじめ定められた露光開始時間と露光終了時間に従って、光源１１０の投光タイミングと受光装置１２０の露光タイミングを制御する信号を生成する。光源１１０は、処理回路１３０が出力した制御信号に従って、あらかじめ定められた時間長のパルス状の光ビームを、ステップＳ３１２０で決定した方向に出射する。受光装置１２０は、光源１１０の投光開始時点を基準に、あらかじめ定められた当該露光期間の開始時間と終了時間に従って露光を行い、当該露光期間の間に光電変換によって生じた電荷を、ステップＳ１１５０において選択された電荷蓄積部１２４に蓄積する。
処理回路１３０は、クロック１６０からの時刻データを参照して、選択した露光期間について、あらかじめ定められた露光開始時間と露光終了時間に従って、光源１１０の投光タイミングと受光装置１２０の露光タイミングを制御する信号を生成する。光源１１０は、処理回路１３０が出力した制御信号に従って、あらかじめ定められた時間長のパルス状の光ビームを、ステップＳ３１２０で決定した方向に出射する。受光装置１２０は、光源１１０の投光開始時点を基準に、あらかじめ定められた当該露光期間の開始時間と終了時間に従って露光を行い、当該露光期間の間に光電変換によって生じた電荷を、ステップＳ１１５０において選択された電荷蓄積部１２４に蓄積する。
【0146】
（ステップＳ１１７０）
ステップＳ１１４０において全露光期間での投光と受光が完了したと判断した場合、処理回路１３０は、受光装置１２０におけるシャッタを閉じる。
ステップＳ１１４０において全露光期間での投光と受光が完了したと判断した場合、処理回路１３０は、受光装置１２０におけるシャッタを閉じる。
【0147】
（ステップＳ３１３０）
処理回路１３０は、ステップＳ１１３０からステップＳ１１６０の一連の動作によって蓄積された各露光期間での電荷を読み出し、全画素のうち、反射光を受光した画素の電荷を画素値に変換し、画素ごとに画素値を記録媒体１７０に記録する。
処理回路１３０は、ステップＳ１１３０からステップＳ１１６０の一連の動作によって蓄積された各露光期間での電荷を読み出し、全画素のうち、反射光を受光した画素の電荷を画素値に変換し、画素ごとに画素値を記録媒体１７０に記録する。
【0148】
（ステップＳ１１９０）
処理回路１３０は、ステップＳ３１３０で記録されたデータに基づき、露光期間ごとに輝度画像データを生成する。さらに、処理回路１３０は、露光期間ごとの輝度画像データに加えて、光ビームの投光時刻のデータを生成する。処理回路１３０は、例えば、露光期間ごとの輝度画像データに加えて、あらかじめ定められたフレーム数ごと、あるいは各フレームの先頭に、各露光期間を特定するためのタイミングデータを付加する。タイミングデータは、例えば、露光期間の開始時刻と終了時刻の情報を含み得る。処理回路１３０は、露光期間ごとの輝度画像データと、各露光期間を特定するためのタイミングデータと、各画素の時刻データとを含む出力データを、インターフェース１５０を介して出力する。出力後、ステップＳ１１２０に戻る。
処理回路１３０は、ステップＳ３１３０で記録されたデータに基づき、露光期間ごとに輝度画像データを生成する。さらに、処理回路１３０は、露光期間ごとの輝度画像データに加えて、光ビームの投光時刻のデータを生成する。処理回路１３０は、例えば、露光期間ごとの輝度画像データに加えて、あらかじめ定められたフレーム数ごと、あるいは各フレームの先頭に、各露光期間を特定するためのタイミングデータを付加する。タイミングデータは、例えば、露光期間の開始時刻と終了時刻の情報を含み得る。処理回路１３０は、露光期間ごとの輝度画像データと、各露光期間を特定するためのタイミングデータと、各画素の時刻データとを含む出力データを、インターフェース１５０を介して出力する。出力後、ステップＳ１１２０に戻る。
【0149】
処理回路１３０は、ステップＳ１１２０からステップＳ１１９０の動作を繰り返す。この繰り返しの単位を「フレーム動作」と称する。複数のフレーム動作を繰り返すことにより、フレームごとに距離計算に必要なデータが出力される。出力データは、制御装置２００に送られる。
【0150】
［データフォーマットの例］
図１４Ａおよび図１４Ｂは、本変形例における測距装置１００から出力される露光期間ごとの画像データの出力形式の例を示す図である。この例では、図７Ａおよび図７Ｂに示す例と比較して、固定値に、投光方向の数（例えば１バイト）が追加されている。また、フレームごとのデータに、各露光期間の投光方向ごとの時刻データ（例えば５バイト）が含まれている。露光期間ごとの輝度値のデータには、その輝度値の取得に使用された光ビームの出射時刻の代表値を特定する時刻ＩＤのデータ（例えば１バイト）が付加されている。時刻ＩＤと実際の時刻との対応関係は、図１２に示すように、記録媒体１７０に記録されている。時刻ＩＤと実際の時刻との対応関係を規定するデータは、制御装置２００の記録媒体２７０にもあらかじめ記録される。
図１４Ａおよび図１４Ｂは、本変形例における測距装置１００から出力される露光期間ごとの画像データの出力形式の例を示す図である。この例では、図７Ａおよび図７Ｂに示す例と比較して、固定値に、投光方向の数（例えば１バイト）が追加されている。また、フレームごとのデータに、各露光期間の投光方向ごとの時刻データ（例えば５バイト）が含まれている。露光期間ごとの輝度値のデータには、その輝度値の取得に使用された光ビームの出射時刻の代表値を特定する時刻ＩＤのデータ（例えば１バイト）が付加されている。時刻ＩＤと実際の時刻との対応関係は、図１２に示すように、記録媒体１７０に記録されている。時刻ＩＤと実際の時刻との対応関係を規定するデータは、制御装置２００の記録媒体２７０にもあらかじめ記録される。
【0151】
図１５Ａおよび図１５Ｂは、測距装置１００から出力される露光期間ごとの画像データの出力形式の他の例を示す図である。この例では、同一の方向に出射された光ビームの反射光を受ける画素の集合を１つのブロックとして、各ブロックの画素領域を特定するデータ（例えば４バイト）が、フレームごとの出力データに含まれる。各ブロックは、例えば矩形の画素領域であり、最も左上に位置する画素の座標と、最も右下に位置する画素の座標とによって特定され得る。ブロックのデータにブロックＩＤが含まれていてもよい。図１５Ｂの例では、日付のデータの後、ブロックの画素領域のデータが投光方向の数だけ並び、続いて、投光方向ごとの時刻のデータが、方向数と露光期間数との積の数だけ並ぶ。これに続いて、露光期間Ａ０で蓄積された各画素の電荷を画素値に変換した画像データ、露光期間Ａ１で蓄積された電荷に対応する画像データ、および露光期間Ａ２で蓄積された電荷に対応する画像データが続く。なお、この例のように、ブロックの情報を出力する場合には、記録媒体１７０にブロックの画素領域を特定するデータが記録され得る。あるいは、輝度値などのデータがブロックのまとまりごとに記録媒体１７０に記録されていてもよい。図１４Ｂ、図１５Ａ、および図１５Ｂに示すデータフォーマットでは、画素ごとあるいは画素ブロックごとに輝度データが取得された時刻が付与されている。すなわち、１フレーム分の輝度画像データには、異なる時刻における輝度データが含まれている。このようなデータフォーマットから生成される輝度画像データ、距離画像データ、および点群データは、フレーム単位ではなく、所定の時間範囲に含まれる画素あるいは画素ブロックに分割して利用することができる。例えば、制御装置２００は、測距装置１００から取得したデータを、他の計測装置等から取得した時刻情報を含むデータと組み合わせる際に、時刻情報を基準として画素あるいは画素ブロックに分割して組み合わせることができる。
【0152】
＜実施形態１の変形例２＞
次に、実施形態１の変形例２を説明する。本変形例では、前述の各例とは異なり、光源１１０は、拡がりの小さいレーザ光ビームを、１次元的に方向を変えて複数回出射するように構成される。受光装置１２０は、前述の各例とは異なり、イメージセンサではなく、単数または少数の受光素子を備える。受光装置１２０の受光面の法線ベクトルが、光源１１０の投光方向と一致するように、受光装置１２０の向きが光源１１０の投光方向の変化に応じて制御される。従って、処理回路１３０は、受光によって取得されたデータを、受光素子（画素）ごとでなく、ビームの投光方向ごとに記録媒体１７０に記録する。ビームの投光方向は、例えば基準位置からの角度によって指定される。
次に、実施形態１の変形例２を説明する。本変形例では、前述の各例とは異なり、光源１１０は、拡がりの小さいレーザ光ビームを、１次元的に方向を変えて複数回出射するように構成される。受光装置１２０は、前述の各例とは異なり、イメージセンサではなく、単数または少数の受光素子を備える。受光装置１２０の受光面の法線ベクトルが、光源１１０の投光方向と一致するように、受光装置１２０の向きが光源１１０の投光方向の変化に応じて制御される。従って、処理回路１３０は、受光によって取得されたデータを、受光素子（画素）ごとでなく、ビームの投光方向ごとに記録媒体１７０に記録する。ビームの投光方向は、例えば基準位置からの角度によって指定される。
【0153】
本変形例における測距装置１００の動作は、前述の変形例１における測距装置１００の動作と同様であるため、説明を省略する。投光ごとに受光装置１２０が各露光期間で蓄積した電荷に応じた輝度データが、フレームごとにデータ列として出力される。本変形例における１回のフレーム動作は、あらかじめ定められた１つの軸についての複数の方向への一連の投光および露光の動作のまとまりを指す。１回のフレーム動作において、例えば、水平方向の３６０度の範囲を、０．５度ずつ方向を変化させて、計７２０の方向に光ビームが順次出射され得る。
【0154】
図１６Ａおよび図１６Ｂは、本変形例における測距装置１００から出力されるデータの出力形式の例を示す図である。本変形例における固定値は、図１４Ａおよび図１４Ｂに示す例における画角および画素配置のデータに代えて、１回のフレーム動作で光ビームが出射される方向の角度の範囲が、例えば２バイトで出力される。本変形例における「方向」は、測距装置１００にあらかじめ設定された０度の方向を、車両の中心を原点とする３次元座標表のベクトルとして表現したデータである。
【0155】
本変形例では、フレームごとの出力データについて、まず、当該フレームのデータが取得された日付（例えば１バイト）が出力される。続いて、露光期間Ａ０で蓄積された電荷に応じた輝度値（例えば１バイト）および時刻（例えば５バイト）が、全投光方向について繰り返し出力される。露光期間Ａ１およびＡ２についても同様に、蓄積された電荷に応じた輝度値および時刻が、全投光方向について繰り返し出力される。
【0156】
図１７Ａおよび図１７Ｂは、測距装置１００から出力されるデータの出力形式の他の例を示す図である。この例では、フレームごとの出力データについて、まず日付（例えば１バイト）が出力された後、各露光期間における投光方向ごとの時刻（例えば５バイト）が出力される。続いて、露光期間Ａ０で蓄積された電荷に応じた輝度値（例えば１バイト）が、全投光方向について繰り返し出力される。露光期間Ａ１およびＡ２についても同様に、蓄積された電荷に応じた輝度値が、全投光方向について繰り返し出力される。
【0157】
＜実施形態２＞
次に、本開示の例示的な実施形態２を説明する。
次に、本開示の例示的な実施形態２を説明する。
【0158】
実施形態１およびその各変形例では、測距装置１００は、距離を計算することなく、常に各露光期間での受光によって蓄積された電荷を示す輝度データを出力する。これに対し、本実施形態では、測距装置１００は、輝度データに基づいて画素ごとに距離を計算し、距離データの出力と、輝度データの出力とを状況に応じて切り替えることができる。この出力の切り替えは、外部からの指示による場合と、内部のデータに基づく判断による場合とがある。制御装置２００は、測距装置１００からデータを受信した後、輝度データであるか距離データであるかを判断し、データの種類に応じた処理を行う。
【0159】
図１８は、本実施形態におけるシステムの機能構成を示す図である。本実施形態におけるハードウェア構成は図４Ｂに示す構成と同じであるが、動作が実施形態１とは異なっている。以下、実施形態１と異なる点を中心に、本実施形態の構成および動作を説明する。以下の説明において、輝度データを、ロー（ｒａｗ）データと称することがある。
【0160】
［測距装置の構成］
本実施形態における処理回路１３０は、ローデータに基づいて画素ごとに距離を計算する機能を有する。処理回路１３０は、外部の制御装置２００からの要求に応じて、距離データの出力とローデータの出力とを切り替える。なお、図１８に示すシステムでは、測距装置１００の数は１つであるが、図４Ｂに示す例と同様に、システムが複数の測距装置１００を含んでいてもよい。
本実施形態における処理回路１３０は、ローデータに基づいて画素ごとに距離を計算する機能を有する。処理回路１３０は、外部の制御装置２００からの要求に応じて、距離データの出力とローデータの出力とを切り替える。なお、図１８に示すシステムでは、測距装置１００の数は１つであるが、図４Ｂに示す例と同様に、システムが複数の測距装置１００を含んでいてもよい。
【0161】
本実施形態における光源１１０は、実施形態１における光源１１０と同様、レーザ光を広範囲に拡散させるフラッシュ光を出力する。
【0162】
受光装置１２０は、イメージセンサ１２１と、レンズなどの光学部品とを含む。イメージセンサ１２１は、２次元的に配列された複数の画素を有する。各画素は、受光素子１２２と、複数の露光期間にそれぞれ対応する複数の電荷蓄積部１２４と、受光素子１２２とそれぞれの電荷蓄積部１２４との接続を切り替えるスイッチ１２３とを備える。
【0163】
処理回路１３０は、光源１１０によるフラッシュ光の投光のタイミングと、受光装置１２０の露光のタイミングとを決定する。そして、決定したタイミングに従って、投光制御信号を光源１１０に送り、露光制御信号をイメージセンサ１２１に送る。処理回路１３０は、さらに、電荷蓄積部１２４によって露光期間ごとに生成された信号に基づき、画素ごとに距離を計算する。処理回路１３０は、計算した画素ごとの距離を示す距離データ、すなわち距離画像データを、インターフェース１５０を介して出力する。一方、制御装置２００からローデータの出力を要求する信号を受けたときには、処理回路１３０は、距離データに代えて、ローデータを出力する。
【0164】
［制御装置の構成］
制御装置２００は、図４Ｂに示す制御装置２００と同じハードウェア構成を有する。ただし、本実施形態では、処理回路２３０が、状況に応じて、ローデータの送信を要求する信号を、インターフェース２１０を介して測距装置１００に送信する点で、実施形態１とは異なる。処理回路２３０は、例えば、測距装置１００から送信された距離画像データに多くのノイズが含まれている場合のように、より正確なデータが必要な場合に、ローデータを要求する信号を測距装置１００に送る。
制御装置２００は、図４Ｂに示す制御装置２００と同じハードウェア構成を有する。ただし、本実施形態では、処理回路２３０が、状況に応じて、ローデータの送信を要求する信号を、インターフェース２１０を介して測距装置１００に送信する点で、実施形態１とは異なる。処理回路２３０は、例えば、測距装置１００から送信された距離画像データに多くのノイズが含まれている場合のように、より正確なデータが必要な場合に、ローデータを要求する信号を測距装置１００に送る。
【0165】
図１８の構成では、測距装置１００のインターフェース１５０と制御装置２００のインターフェース２１０との間で、直接的に信号が送受信される。このような構成に限らず、測距装置１００と制御装置２００との間の通信は、インターネットなどのネットワークを介して行われてもよい。測距装置１００と制御装置２００との間に、ネットワーク上の他の装置が介在していてもよい。測距装置１００または制御装置２００は、ネットワークを介して、例えばクラウドサーバ、またはストレージなどの記憶装置と通信してもよい。通信には、例えば、ｈｔｔｐ、ｆｔｐ、ＴＣＰまたはＵＤＰ、およびＩＰなどの通信プロトコルが用いられ得る。ＰＵＬＬ型の通信方式が用いられてもよいし、ＰＵＳＨ型の通信方式が用いられてもよい。有線伝送には、例えばＥｔｈｅｒｎｅｔ、ＵＳＢ、ＲＳ－２３２Ｃ、ＨＤＭＩ（登録商標）、または同軸ケーブルなどを用いることができる。あるいは、無線伝送には、例えば３ＧＰＰ、ＩＥＥＥで規定される３Ｇ／４Ｇ／５Ｇ、無線ＬＡＮ、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはミリ波などの、任意の無線通信方式が用いられ得る。
【0166】
［測距装置の動作］
図１９は、本実施形態における測距装置１００の処理回路１３０の動作を示すフローチャートである。図１９に示すフローチャートは、図５に示すフローチャートにおけるステップＳ１１９０が、ステップＳ４１１０からＳ４１５０に置換されたものである。ステップＳ１１２０からＳ１１７０の動作は図５に示す動作と同じである。以下、図５に示す動作と異なる点を説明する。
図１９は、本実施形態における測距装置１００の処理回路１３０の動作を示すフローチャートである。図１９に示すフローチャートは、図５に示すフローチャートにおけるステップＳ１１９０が、ステップＳ４１１０からＳ４１５０に置換されたものである。ステップＳ１１２０からＳ１１７０の動作は図５に示す動作と同じである。以下、図５に示す動作と異なる点を説明する。
【0167】
（ステップＳ４１１０）
ステップＳ１１８０が完了すると、処理回路１３０は、制御装置２００からローデータ出力を要求する信号を受信したか否かを判断する。当該信号を受信している場合、ステップＳ４１４０に進む。当該信号を受信していない場合、ステップＳ４１２０に進む。
ステップＳ１１８０が完了すると、処理回路１３０は、制御装置２００からローデータ出力を要求する信号を受信したか否かを判断する。当該信号を受信している場合、ステップＳ４１４０に進む。当該信号を受信していない場合、ステップＳ４１２０に進む。
【0168】
（ステップＳ４１２０）
処理回路１３０は、記録媒体１７０に記録された露光期間ごとの各画素の電荷の値に基づいて、画素ごとに距離を計算する。距離の計算方法は、図８に示すステップＳ２１５０における計算方法と同様である。
処理回路１３０は、記録媒体１７０に記録された露光期間ごとの各画素の電荷の値に基づいて、画素ごとに距離を計算する。距離の計算方法は、図８に示すステップＳ２１５０における計算方法と同様である。
【0169】
（ステップＳ４１３０）
処理回路１３０は、ステップＳ４１２０で計算した画素ごとの距離を画素値に変換して距離画像データを生成する。処理回路１３０は、当該データが距離画像データであることを示す識別子を当該距離画像データに付加した出力データを生成する。出力データの具体例については後述する。
処理回路１３０は、ステップＳ４１２０で計算した画素ごとの距離を画素値に変換して距離画像データを生成する。処理回路１３０は、当該データが距離画像データであることを示す識別子を当該距離画像データに付加した出力データを生成する。出力データの具体例については後述する。
【0170】
（ステップＳ４１４０）
ステップＳ４１１０でローデータの出力要求があったと判断した場合、処理回路１３０は、記録媒体１７０に記録された露光期間ごとの電荷の値を画素値に変換し、露光期間ごとの輝度画像データを生成する。この場合、処理回路１３０は、露光期間ごとの輝度画像データに、各露光期間のタイミングを示すタイミングデータを加えた出力データを生成する。出力データの形式は、例えば図７Ａおよび図７Ｂに示す形式と同様である。ただし、出力データの先頭には、当該データがローデータすなわち輝度画像データであることを示す識別子が付加される。
ステップＳ４１１０でローデータの出力要求があったと判断した場合、処理回路１３０は、記録媒体１７０に記録された露光期間ごとの電荷の値を画素値に変換し、露光期間ごとの輝度画像データを生成する。この場合、処理回路１３０は、露光期間ごとの輝度画像データに、各露光期間のタイミングを示すタイミングデータを加えた出力データを生成する。出力データの形式は、例えば図７Ａおよび図７Ｂに示す形式と同様である。ただし、出力データの先頭には、当該データがローデータすなわち輝度画像データであることを示す識別子が付加される。
【0171】
（ステップＳ４１５０）
処理回路１３０は、インターフェース１５０を介して、ステップＳ４１３０またはステップＳ４１４０で生成した出力データを出力する。
処理回路１３０は、インターフェース１５０を介して、ステップＳ４１３０またはステップＳ４１４０で生成した出力データを出力する。
【0172】
処理回路１３０は、ステップＳ１１２０からステップＳ４１５０の動作を繰り返し実行する。これにより、外部の制御装置２００からの要求に応じて、距離画像データの出力と露光期間ごとの輝度画像データの出力とが切り替えられる。距離画像データの出力と露光期間ごとの輝度画像データの出力との切り替えは、任意のフレームで行われ得る。あるいは、処理回路１３０は、１以上のあらかじめ定められたフレーム数ごとに出力形式を切り替えてもよい。その場合、制御装置２００からの要求によらず、処理回路１３０は、距離画像データの出力と輝度画像データの出力とを、あらかじめ定められたフレーム数ごとに切替える。
【0173】
［データフォーマットの例］
次に、本実施形態における測距装置１００が出力するデータのフォーマットの例を説明する。
次に、本実施形態における測距装置１００が出力するデータのフォーマットの例を説明する。
【0174】
図２０Ａおよび図２０Ｂは、測距装置１００のインターフェース１５０から出力される距離画像データのフォーマットの例を示す図である。この例では、複数のフレームに共通の固定値の先頭に、データ形式、すなわち距離データおよび輝度データのいずれかが含まれるかを示す識別子が付加される。データ形式が距離データの場合、固定値には、図７Ｂに示す露光期間Ａ０からＡ２のデータは含まれない。固定値は、前述の各例と同様、例えば出力データの先頭に１回、あるいは、出力データの切り替え時の先頭のフレームの前に出力され得る。
【0175】
フレームごとの出力データは、当該フレームのデータが生成された日付（例えば１バイト）および時刻（例えば５バイト）と、各画素の距離を画素値として変換した値（例えば１バイト）のデータとを含む。複数の画素の画素値のデータから距離画像が構成される。
【0176】
図２１Ａおよび図２１Ｂは、測距装置１００から出力される輝度画像データのフォーマットの例を示す図である。この例における輝度画像データのフォーマットは、図７Ａおよび図７Ｂに示す例における固定値の先頭に、データ形式が輝度画像データであることを示す識別子（例えば１バイト）が付加されたものである。それ以外の点については、図７Ａおよび図７Ｂに示す例と同じである。
【0177】
図２２Ａおよび図２２Ｂは、測距装置１００から出力される輝度画像データのフォーマットの他の例を示す図である。この例では、図２２Ａおよび図２２Ｂに示すフォーマットに、距離ごとにあらかじめ計測された画素値の最大値（例えば１バイト）を示すデータが固定値として追加されている。この画素値の最大値は、あらかじめ設定された複数の距離のそれぞれについて、反射率１００％の物体（例えば白色ボード）から光が反射されたと仮定した場合に、露光期間Ａ０からＡ２の間に１つの画素において計測される画素値の総和を表す。この画素値の最大値は、特定の距離範囲（例えば０．１ｍから５０ｍ等）内の複数の距離について、例えば距離が大きくなるにつれて刻みが大きくなるように記録され得る。刻みは、例えば２を底とする距離の対数に比例するように決定され得る。画素値の最大値のデータは、距離ごとにあらかじめ計測され、例えば図９に示すように、記録媒体２７０にテーブルなどの形式で記録されている。画素値の最大値のデータは、前述のように、制御装置２００における処理回路２３０による画素ごとの反射率を計算するときに用いられ得る。なお、実施形態１およびその各変形例においても、このような画素値の最大値のデータが出力データに含まれていてもよい。
【0178】
［制御装置の動作］
図２３は、本実施形態における制御装置２００における処理回路２３０の動作の例を示すフローチャートである。図２３に示す動作では、図８に示すフローチャートにおけるステップＳ２１３０とステップＳ２１４０との間にステップＳ５１１０が追加され、ステップＳ２１７０とＳ２１８０との間にステップＳ５１２０からＳ５１４０が追加されている。それ以外の点は、図８に示す動作と同じである。以下、図８に示す動作と異なる点を主に説明する。
図２３は、本実施形態における制御装置２００における処理回路２３０の動作の例を示すフローチャートである。図２３に示す動作では、図８に示すフローチャートにおけるステップＳ２１３０とステップＳ２１４０との間にステップＳ５１１０が追加され、ステップＳ２１７０とＳ２１８０との間にステップＳ５１２０からＳ５１４０が追加されている。それ以外の点は、図８に示す動作と同じである。以下、図８に示す動作と異なる点を主に説明する。
【0179】
（ステップＳ５１１０）
処理回路２３０は、ステップＳ２１３０において測距装置１００からデータを受けると、そのデータがローデータすなわち輝度画像データであるか否かを判断する。この判断は、入力されたデータの固定値におけるデータ形式の値に基づいて行われる。入力されたデータがローデータである場合、ステップＳ２１４０に進む。入力されたデータがローデータでない場合、すなわち距離画像データである場合、ステップＳ２１７０に進む。
処理回路２３０は、ステップＳ２１３０において測距装置１００からデータを受けると、そのデータがローデータすなわち輝度画像データであるか否かを判断する。この判断は、入力されたデータの固定値におけるデータ形式の値に基づいて行われる。入力されたデータがローデータである場合、ステップＳ２１４０に進む。入力されたデータがローデータでない場合、すなわち距離画像データである場合、ステップＳ２１７０に進む。
【0180】
（ステップＳ２１４０～Ｓ２１６０）
ステップＳ２１４０、Ｓ２１５０、およびＳ２１６０の処理は、図８における対応するステップの処理と同じである。ステップＳ２１４０において、処理回路２３０は、ローデータに対してノイズ除去処理などの、距離計算の精度を向上させるための前処理を行う。ステップＳ２１５０において、処理回路２３０は、ステップＳ２１４０でノイズ除去処理が行われた露光期間ごとの画像データを用いて、画素ごとに距離を計算することにより、距離画像データを生成する。ステップＳ２１６０において、処理回路２３０は、ステップＳ２１５０で計算した画素ごとの距離と、ステップＳ２１４０でノイズ除去処理を行った露光期間ごとの画像データとを用いて、距離が計算された画素の反射率を計算する。なお、反射率の計算に用いられる各距離の反射率１００％の値は、実施形態１と同様、あらかじめ記録媒体１７０に記録されていてもよいし、図２２Ａおよび図２２Ｂに示すように、入力されるデータに固定値として含まれていてもよい。
ステップＳ２１４０、Ｓ２１５０、およびＳ２１６０の処理は、図８における対応するステップの処理と同じである。ステップＳ２１４０において、処理回路２３０は、ローデータに対してノイズ除去処理などの、距離計算の精度を向上させるための前処理を行う。ステップＳ２１５０において、処理回路２３０は、ステップＳ２１４０でノイズ除去処理が行われた露光期間ごとの画像データを用いて、画素ごとに距離を計算することにより、距離画像データを生成する。ステップＳ２１６０において、処理回路２３０は、ステップＳ２１５０で計算した画素ごとの距離と、ステップＳ２１４０でノイズ除去処理を行った露光期間ごとの画像データとを用いて、距離が計算された画素の反射率を計算する。なお、反射率の計算に用いられる各距離の反射率１００％の値は、実施形態１と同様、あらかじめ記録媒体１７０に記録されていてもよいし、図２２Ａおよび図２２Ｂに示すように、入力されるデータに固定値として含まれていてもよい。
【0181】
（ステップＳ２１７０）
処理回路２３０は、ステップＳ２１５０で生成された距離画像データ、または、測距装置１００から入力された距離画像データを点群データに変換する。この変換の処理は、図８におけるステップＳ２１７０の処理と同じである。
処理回路２３０は、ステップＳ２１５０で生成された距離画像データ、または、測距装置１００から入力された距離画像データを点群データに変換する。この変換の処理は、図８におけるステップＳ２１７０の処理と同じである。
【0182】
（ステップＳ５１２０）
処理回路２３０は、ステップＳ２１７０で生成した点群データと、外部から取得した地図データとに基づいて、自己位置を推定する。自己位置は、例えば、地図データと点群データとのマッチングを行うことによって推定され得る。例えば、処理回路２３０は、点群データから、地図に含まれる固定物に一致する固定物をマッチングによって特定する。そして、当該固定物までの距離の値と、地図から得られる当該固定物までの距離とに基づいて自己位置を推定することができる。
処理回路２３０は、ステップＳ２１７０で生成した点群データと、外部から取得した地図データとに基づいて、自己位置を推定する。自己位置は、例えば、地図データと点群データとのマッチングを行うことによって推定され得る。例えば、処理回路２３０は、点群データから、地図に含まれる固定物に一致する固定物をマッチングによって特定する。そして、当該固定物までの距離の値と、地図から得られる当該固定物までの距離とに基づいて自己位置を推定することができる。
【0183】
（ステップＳ５１３０）
処理回路２３０は、ステップＳ５１２０で推定した制御装置２００の位置があらかじめ定められた条件に合致する領域にあるか否かを判断する。条件は、例えば、交差点の周辺１０ｍ以内といった条件であり得る。制御装置２００の位置が条件に合致する場合は、ステップＳ５１４０に進む。制御装置２００の位置が条件に合致しない場合は、ステップＳ２１９０に進む。
処理回路２３０は、ステップＳ５１２０で推定した制御装置２００の位置があらかじめ定められた条件に合致する領域にあるか否かを判断する。条件は、例えば、交差点の周辺１０ｍ以内といった条件であり得る。制御装置２００の位置が条件に合致する場合は、ステップＳ５１４０に進む。制御装置２００の位置が条件に合致しない場合は、ステップＳ２１９０に進む。
【0184】
（ステップＳ５１４０）
処理回路２３０は、測距装置１００に、ローデータの出力を要求する信号を、インターフェース１５０を介して送信する。ステップＳ５１３０において、制御装置２００の推定された位置が条件に合致しない場合の例として、測距装置１００から入力された距離画像データの信頼性が低い場合が挙げられる。そのような場合、処理回路２３０は、測距装置１００に、距離データではなくローデータの出力を要求する。これにより、次のフレームでは、距離データに代えてローデータが測距装置１００から制御装置２００に入力される。
処理回路２３０は、測距装置１００に、ローデータの出力を要求する信号を、インターフェース１５０を介して送信する。ステップＳ５１３０において、制御装置２００の推定された位置が条件に合致しない場合の例として、測距装置１００から入力された距離画像データの信頼性が低い場合が挙げられる。そのような場合、処理回路２３０は、測距装置１００に、距離データではなくローデータの出力を要求する。これにより、次のフレームでは、距離データに代えてローデータが測距装置１００から制御装置２００に入力される。
【0185】
以降のステップＳ２１８０からＳ２２００の動作は、図８における対応する動作と同じである。
【0186】
なお、本実施形態では、測距装置１００は、距離画像データ、および露光期間ごとの輝度画像データのいずれか一方を出力する。このような動作に代えて、測距装置１００は、輝度画像データを要求する信号を受けた場合に、距離画像データに加えて、露光期間ごとの輝度画像データの両方を出力するものとしてもよい。また、本実施形態では、制御装置２００は、露光期間ごとの輝度画像データを受信した場合には必ず前処理と距離計算を行う。このような動作に代えて、制御装置２００は、必要な場合にのみ、前処理と距離計算を行ってもよい。制御装置２００は、取得した露光期間ごとの輝度画像データを、記録媒体２７０に記録して蓄積してもよい。あるいは、露光期間ごとの輝度画像データを、ネットワークを経由して外部のサーバまたはストレージなどの装置に送信することで蓄積してもよい。
【0187】
本実施形態では、制御装置２００は、ステップＳ５１３０においてローデータの要求信号の出力の要否を、自己位置に基づいて決定する。このような動作に代えて、制御装置２００が測距装置１００から取得したデータの状態に基づいて、ローデータの要求信号の出力の要否を決定してもよい。例えば、取得した距離画像データの空間周波数が高い成分の値、または高周波成分が全体に占める割合があらかじめ定められた閾値を超えている場合にローデータの要求信号を出力してもよい。また、複数の測距装置１００から取得したデータが矛盾する場合にローデータの要求信号を出力してもよい。あるいは、地図データが示す建築物の内部に点群が位置する場合のように、測距装置１００から取得した距離画像データと、地図データとが矛盾する場合に、ローデータの要求信号を出力してもよい。例えば、測距装置１００から取得した距離画像データにおける複数の画素に対応する点群のうち、地図データと矛盾する位置にある点があらかじめ定められた数以上ある場合に、ローデータの要求信号を出力してもよい。あるいは、制御装置２００が別途画像データを取得する場合において、当該画像データと距離画像データとの間に、マッチングできない点があらかじめ定められた数よりも多く存在する場合に、ローデータの要求信号を出力してもよい。
【0188】
また、制御装置２００は、測距装置１００以外の計測装置による計測結果を取得し、当該他の計測装置による計測結果に基づいて、ローデータの要求信号の出力の要否を決定してもよい。他の計測装置は、ジャイロセンサであってもよい。例えば、ジャイロセンサの計測結果が時間方向に急峻な変化を示した場合、すなわち大きな揺れあるいは衝撃があった場合に、測距装置１００にローデータの要求信号を出力してもよい。あるいは、ジャイロセンサの計測結果があらかじめ定められた閾値以上あるいは以下の角度を示す場合、すなわち急坂を走行する場合のようにシステム全体が傾いている場合に、測距装置１００にローデータの要求信号を出力してもよい。また、他の計測装置は、輝度画像あるいは動画を撮影するカメラであってもよい。例えば、カメラからの信号を取得し、取得した画像あるいは動画のフレーム内にあらかじめ定められた値を超える輝度を示す画素がある場合に、測距装置１００にローデータの要求信号を出力してもよい。このような高輝度の画素が現れる原因としては、強い太陽光が入射している場合や、対向車のヘッドライトの光が入射している場合が考えられる。あるいは、動画から取得されたモーションベクトルの解析結果に基づき、測距装置１００にローデータの要求信号を出力してもよい。例えば、モーションベクトル角度が不安定な場合は、システムに衝撃あるいは振動が加わっていることが推定されるため、ローデータの要求信号を出力してもよい。
【0189】
システムが移動体である場合には、制御装置２００は、当該移動体の動作計画に基づき、ローデータの要求信号の出力の要否を決定してもよい。動作計画が、加減速、進路変更、バック等の特定の動作である場合に、測距装置１００にローデータの要求信号を出力してもよい。また、移動体の各種作動部のセンサから、ブレーキのロックやトラクションの異常等の動作異常の信号を取得した場合に、測距装置１００にローデータの要求信号を出力してもよい。
【0190】
制御装置２００の処理回路２３０は、測距装置１００と制御装置２００との間の通信の状態に基づいて、ローデータの要求信号を出力するか否かを決定してもよい。例えば、インターフェース２１０が備える不図示のメモリに、あらかじめ定められたデータ量を超えるデータが蓄積された場合に、処理回路２３０が距離画像データを要求する信号を出力してもよい。一例として、インターフェース２１０が１秒間に受け取るデータ量が、あらかじめ定められたデータ量を超える場合、あるいは超えることが予想される場合に、処理回路２３０は、距離画像データの要求信号を出力してもよい。
【0191】
［効果］
以上のように、本実施形態によれば、測距装置１００の処理回路１３０は、露光期間ごとの各画素の輝度データに加えて、各画素の距離データを生成する。そして、距離データと、各露光期間についての輝度データとを、外部の制御装置２００からの要求に応じて、切り替えて出力する。処理回路１３０は、露光期間ごとの輝度データと各露光期間のタイミングを示すタイミングデータとの組、および距離データのいずれを出力するかを、フレームごとに決定する。また、制御装置２００の処理回路２３０は、測距装置１００から送られてきたデータが所定の条件を満足しない場合に、測距装置１００に輝度データの出力を要求する。
以上のように、本実施形態によれば、測距装置１００の処理回路１３０は、露光期間ごとの各画素の輝度データに加えて、各画素の距離データを生成する。そして、距離データと、各露光期間についての輝度データとを、外部の制御装置２００からの要求に応じて、切り替えて出力する。処理回路１３０は、露光期間ごとの輝度データと各露光期間のタイミングを示すタイミングデータとの組、および距離データのいずれを出力するかを、フレームごとに決定する。また、制御装置２００の処理回路２３０は、測距装置１００から送られてきたデータが所定の条件を満足しない場合に、測距装置１００に輝度データの出力を要求する。
【0192】
このような動作により、通常時は測距装置１００が距離データを出力し、より精度の高い測距が必要な場合に限り、測距装置１００が露光期間ごとの輝度データを出力する、といったシステムを実現できる。露光期間ごとの輝度データのサイズは、距離データのサイズよりも大きい。本実施形態の動作によれば、制御装置２００は、必要な場合にだけ、サイズの大きい露光期間ごとの各画素の輝度データを取得することができる。このため、制御装置２００と測距装置１００との間の通信量を低減することができる。
【0193】
本実施形態の動作により、通常時は測距装置１００は距離画像データを出力し、例えば交差点周辺等の交通状況の複雑な場所では、測距装置１００は制御装置２００からの指示に従って露光期間ごとの輝度データを出力することができる。測距装置１００から露光期間ごとの輝度データを受信した制御装置２００は、前処理により、より精度の高い距離情報を生成することができる。また、各画素の反射率を計算することで認識性能を高め、環境認識の精度を向上することができる。さらに、露光期間ごとの詳細な輝度データをそのまま記録またはネットワークを介してサーバなどの他の装置に転送することで、複雑な交通環境の状態を示すデータを保持することができる。これにより、例えば事故が生じた場合に、より詳細な状況分析を可能にする検証用データを記録することもできる。
【0194】
＜実施形態２の変形例１＞
次に、実施形態２の変形例１を説明する。本変形例では、光源１１０は、フラッシュ光ではなく、より広がりの小さい光ビームを出射する。光源１１０は、広い範囲に投光するために、光の向きを変えて複数回投光を行うように制御される。光源１１０の構成は、実施形態１の変形例１における構成と同様である。
次に、実施形態２の変形例１を説明する。本変形例では、光源１１０は、フラッシュ光ではなく、より広がりの小さい光ビームを出射する。光源１１０は、広い範囲に投光するために、光の向きを変えて複数回投光を行うように制御される。光源１１０の構成は、実施形態１の変形例１における構成と同様である。
【0195】
図２４は、本変形例における測距装置１００の動作を示すフローチャートである。図２４に示す動作では、図１９に示す動作にステップＳ３１１０およびＳ３１２０が追加され、ステップＳ１１８０がステップＳ３１３０に置換されている。それ以外の点については、図１９に示す動作と同じである。また、図２４に示す動作は、図１３に示す動作におけるステップＳ１１９０が、ステップＳ４１１０からＳ４１５０に置換されたものである。図２４に示す各ステップの動作は、図１３または図１９に示す対応するステップの動作と同様であるため、説明を省略する。
【0196】
本変形例のように、光ビームの出射方向を変化させることができる光源１１０を用いて、対象シーンを光ビームで走査することにより、フラッシュ光を出射する光源１１０を用いた場合よりも遠方の物体の測距に必要なデータを取得することができる。また、図２４に示すステップＳ４１１０からＳ４１４０の動作により、外部の装置からの要求に応じて、距離データの出力と、露光期間ごとの輝度データの出力とを切り替えることができる。
【0197】
なお、光源１１０と受光装置１２０の構成として、実施形態１の変形例２と同様の構成を採用してもよい。すなわち、光ビームを出射する光源１１０と、単一または少数の受光素子を備える受光装置１２０とを用いて、光源１１０および受光装置１２０の方向を変化させて測距に必要な受光データを取得する構成を採用してもよい。そのような構成においても、距離データと露光期間ごとの輝度データとを切り替えて出力するようにしてもよい。
【0198】
＜実施形態２の変形例２＞
次に、実施形態２の変形例２を説明する。本変形例では、制御装置２００などの外部の装置からの要求によるのではなく、測距装置１００の処理回路１３０での処理結果に基づいて出力データの内容が切り替えられる。本変形例の構成は、実施形態２の構成と同様である。
次に、実施形態２の変形例２を説明する。本変形例では、制御装置２００などの外部の装置からの要求によるのではなく、測距装置１００の処理回路１３０での処理結果に基づいて出力データの内容が切り替えられる。本変形例の構成は、実施形態２の構成と同様である。
【0199】
図２５は、本変形例における測距装置１００における処理回路１３０の動作を示すフローチャートである。図２５に示す動作では、図１９に示す動作におけるステップＳ４１１０の代わりにステップＳ６１１０およびＳ６１２０が実行される。ステップＳ６１１０およびＳ６１２０以外のステップは、図１９に示す対応するステップと同じである。以下、図１９に示す動作とは異なる点を説明する。
【0200】
（ステップＳ６１１０）
処理回路１３０は、電荷蓄積部１２４から読み出された各露光期間の画素ごとの電荷の値を、画素配列に従った２次元配列データとして処理する。ランダムなノイズは、画像中の空間周波数の高周波成分として抽出することができる。本変形例では、処理回路１３０は、まず、露光期間Ａ０、Ａ１、およびＡ２の各輝度画像のそれぞれを、複数の領域に分割する。例えば、各輝度画像は、ｙ軸方向に２分割、ｘ軸方向に４分割されることにより、８つの領域に分割され得る。ここで、露光期間Ａ０、Ａ１、およびＡ２のいずれの輝度画像についても同様の方法で分割される。処理回路１３０は、分割された各領域を示す２次元のデータに対して空間周波数分析を行う。周波数分析の方法として、例えば２次元フーリエ変換が用いられ得る。処理回路１３０は、フーリエ変換の結果として得られた各周波数成分の実部を抽出する。処理回路１３０は、抽出した周波数成分のうち、あらかじめ定められた周波数以上の成分について、絶対値の積分を計算し、これをノイズ量とする。処理回路１３０は、露光期間Ａ０、Ａ１、およびＡ２にそれぞれ対応する３つの輝度画像の各分割領域について、上記のノイズ量を計算する。
処理回路１３０は、電荷蓄積部１２４から読み出された各露光期間の画素ごとの電荷の値を、画素配列に従った２次元配列データとして処理する。ランダムなノイズは、画像中の空間周波数の高周波成分として抽出することができる。本変形例では、処理回路１３０は、まず、露光期間Ａ０、Ａ１、およびＡ２の各輝度画像のそれぞれを、複数の領域に分割する。例えば、各輝度画像は、ｙ軸方向に２分割、ｘ軸方向に４分割されることにより、８つの領域に分割され得る。ここで、露光期間Ａ０、Ａ１、およびＡ２のいずれの輝度画像についても同様の方法で分割される。処理回路１３０は、分割された各領域を示す２次元のデータに対して空間周波数分析を行う。周波数分析の方法として、例えば２次元フーリエ変換が用いられ得る。処理回路１３０は、フーリエ変換の結果として得られた各周波数成分の実部を抽出する。処理回路１３０は、抽出した周波数成分のうち、あらかじめ定められた周波数以上の成分について、絶対値の積分を計算し、これをノイズ量とする。処理回路１３０は、露光期間Ａ０、Ａ１、およびＡ２にそれぞれ対応する３つの輝度画像の各分割領域について、上記のノイズ量を計算する。
【0201】
（ステップＳ６１２０）
処理回路１３０は、ステップＳ６１１０で計算された、各輝度画像の各分割領域でのノイズ量に基づいて、ノイズの大きさを評価する。ステップＳ６１２０において、ノイズ量が閾値を超えた場合、ステップＳ４１４０に進む。ステップＳ６１２０においてノイズ量が閾値を超えない場合、ステップＳ４１２０に進む。ノイズの大きさの評価方法の一例として、処理回路１３０は、露光期間Ａ０、Ａ１、およびＡ２の輝度画像のいずれかにおいて、画像全体のノイズ量の総和が、あらかじめ定められた値より大きい場合にはノイズが多いと判断してもよい。ノイズ量の大きさの判断の他の例として、処理回路１３０は、分割領域のうちの一部の領域であらかじめ定められた値よりもノイズ量が大きい場合にノイズが多いと判断してもよい。例えば、８つの分割領域のうちの１つの領域であらかじめ定められた値よりノイズ量が大きい場合、ノイズ量が多いと判断してもよい。２つ以上の領域であらかじめ定められた値よりノイズ量が大きい場合に、ノイズ量が多いと判断してもよい。このように、各輝度画像を複数の領域に分割し、領域ごとにノイズ量を算出および判定することで、画像の一部の領域においてノイズが大きい場合でも、見逃すことなく検出できる。
処理回路１３０は、ステップＳ６１１０で計算された、各輝度画像の各分割領域でのノイズ量に基づいて、ノイズの大きさを評価する。ステップＳ６１２０において、ノイズ量が閾値を超えた場合、ステップＳ４１４０に進む。ステップＳ６１２０においてノイズ量が閾値を超えない場合、ステップＳ４１２０に進む。ノイズの大きさの評価方法の一例として、処理回路１３０は、露光期間Ａ０、Ａ１、およびＡ２の輝度画像のいずれかにおいて、画像全体のノイズ量の総和が、あらかじめ定められた値より大きい場合にはノイズが多いと判断してもよい。ノイズ量の大きさの判断の他の例として、処理回路１３０は、分割領域のうちの一部の領域であらかじめ定められた値よりもノイズ量が大きい場合にノイズが多いと判断してもよい。例えば、８つの分割領域のうちの１つの領域であらかじめ定められた値よりノイズ量が大きい場合、ノイズ量が多いと判断してもよい。２つ以上の領域であらかじめ定められた値よりノイズ量が大きい場合に、ノイズ量が多いと判断してもよい。このように、各輝度画像を複数の領域に分割し、領域ごとにノイズ量を算出および判定することで、画像の一部の領域においてノイズが大きい場合でも、見逃すことなく検出できる。
【0202】
以上の方法において、処理回路１３０は、露光期間Ａ０、Ａ１、およびＡ２のいずれかの輝度画像について、ノイズが多いと判断された場合、「ノイズ量が閾値を超えた」と判断してもよい。ノイズ量の判断方法は、上記の方法に限らず、他の方法であってもよい。
【0203】
ステップＳ６１２０において、ノイズ量が閾値を超えたと判断した場合、処理回路１３０は、インターフェース１５０を介して、輝度画像データすなわちローデータを出力する（Ｓ４１４０）。一方、ノイズが閾値を超えていない判断した場合、処理回路１３０は、前述の方法で、画素ごとに距離を計算することによって距離画像データを生成し、出力する（ステップＳ４１２０およびＳ４１３０）。
【0204】
処理回路１３０は、ステップＳ１１２０からステップＳ４１５０の動作を繰り返すことにより、取得された輝度データの状態に応じて、距離画像データの出力と、露光期間ごとの輝度画像データの出力とを切り替えることができる。本変形例では、輝度データの状態として、高周波成分の大きさに基づいて評価可能なノイズ量が用いられるが、輝度データの信頼度に関係する他の指標に基づいて評価してもよい。例えば、各画素の輝度データと、予め記録された距離ごとの反射率１００％の場合の輝度値の最大値のデータとから計算される画素ごとの反射率に基づいて同様の判定を行ってもよい。処理回路１３０は、露光期間Ａ０、Ａ１、およびＡ２にそれぞれ対応する３つの輝度画像における１つ以上の画素の反射率に基づいて算出される反射率の指標値が、あらかじめ定められた値よりも低い場合に、距離画像データではなく、露光期間ごとの輝度画像データを出力してもよい。あるいは、輝度値があらかじめ定められた閾値を超える画素が所定の割合存在する場合に、距離画像データではなく、露光期間ごとの輝度画像データを出力してもよい。
【0205】
本変形例では、処理回路１３０は、ステップＳ６１１０およびＳ６１２０において、輝度画像データの出力の要否を、取得された輝度データの状態に応じて決定する。このような動作に代えて、処理回路１３０は、測距装置１００が何らかの原因により異常停止した場合に、露光期間ごとの輝度画像データを出力してもよい。測距装置１００の異常は、ジャイロセンサ等の他の計測装置により検知されてもよい。
【0206】
測距装置１００が異常停止している時に輝度画像データを出力できるように、記録媒体１７０には最新の１以上のフレーム数の輝度画像データが時刻データとともに記憶されている。測距装置１００が異常停止した際に、処理回路１３０は、記録媒体１７０に蓄積された露光期間ごとの輝度画像データを異常停止時点から遡って読み出し、制御装置２００に出力する。出力先として、制御装置２００のみでなく、通信を介して交通情報センター等の外部システムへ送信してもよい。
【0207】
本変形例では、フラッシュ光を出射する光源１１０が用いられるが、前述の変形例１のように、広がりの小さい光ビームを出射するビームスキャナを光源１１０として用いてもよい。また、実施形態１の変形例２のように、広がりの小さい光ビームを出射する光源と、単一または少数の受光素子を備える受光装置とを用いてもよい。
【0208】
前述の各例におけるデータ形式は例示であり、測距装置１００は、他のデータ形式で同様の情報を出力してもよい。また、測距装置１００は、前述のいずれかの形式で輝度データまたは距離画像データを生成した上で、所定の方法によって当該データを圧縮することでデータ量を削減してもよい。
【0209】
複数の測距装置１００が１つの制御装置２００にデータを送信する場合、上記の各例におけるデータ形式に含まれるデータに、測距装置１００を識別するための識別子が追加されてもよい。
【0210】
複数の測距装置１００が１つの制御装置２００にローデータを出力する場合、制御装置２００は、複数の測距装置１００からのローデータを合わせて処理してもよい。そのような処理には、例えば、加算、平均化、またはフィルタリング等が含まれ得る。複数の測距装置１００から出力されたローデータを合わせて処理することにより、距離計算の精度を向上させることができる。
【0211】
＜実施形態２の変形例３＞
続いて、実施形態２の変形例３を説明する。本変形例では、測距装置１００の処理回路１３０は、フレーム単位ではなく、画像の領域ごとに、輝度データおよび距離データのいずれのデータを出力するかを決定する。本変形例における処理回路１３０は、イメージセンサ１２１の画素群を複数の領域に分割し、領域ごとに、距離データと、露光期間ごとの輝度データとを切り換えて出力する。従って、本変形例における各フレームの出力データは、ローデータおよび距離データの両方を含む。出力データは、各領域を特定するデータと、各領域がローデータおよび距離データのいずれのデータとして出力されているかを示すデータとを含む。制御装置２００の処理回路２３０は、測距装置１００からデータを受信した後、当該データが示す画像を同様に複数の領域に分割し、各領域について、ローデータであるか距離データであるかを判断し、その判断結果に応じて異なる処理を行う。
続いて、実施形態２の変形例３を説明する。本変形例では、測距装置１００の処理回路１３０は、フレーム単位ではなく、画像の領域ごとに、輝度データおよび距離データのいずれのデータを出力するかを決定する。本変形例における処理回路１３０は、イメージセンサ１２１の画素群を複数の領域に分割し、領域ごとに、距離データと、露光期間ごとの輝度データとを切り換えて出力する。従って、本変形例における各フレームの出力データは、ローデータおよび距離データの両方を含む。出力データは、各領域を特定するデータと、各領域がローデータおよび距離データのいずれのデータとして出力されているかを示すデータとを含む。制御装置２００の処理回路２３０は、測距装置１００からデータを受信した後、当該データが示す画像を同様に複数の領域に分割し、各領域について、ローデータであるか距離データであるかを判断し、その判断結果に応じて異なる処理を行う。
【0212】
【0213】
図２６は、記録媒体２７０に記録されるデータの一例を模式的に示す図である。この例では、制御装置２００が測距装置１００から画像データを受信すると、図２６に示すようなデータが記録媒体２７０に記録される。図２６に示す例では、日付、領域ＩＤ、および領域の範囲と、画素ごとに記録される領域ＩＤ、距離、露光期間Ａ０での輝度、露光期間Ａ１での輝度、および露光期間Ａ３での輝度とが記録される。距離データが記録される画素については、露光期間Ａ０、Ａ１、およびＡ２の輝度値は記録されず、ブランクとなる。逆に、露光期間Ａ０、Ａ１、およびＡ２の輝度値が記録される画素については、距離は記録されず、ブランクとなる。処理回路２３０は、測距装置１００から送信された当該データを取得した後、距離の値が記録されていない画素について、順次、露光期間Ａ０、Ａ１、およびＡ２の輝度値のデータから距離を計算し、記録する。これにより、処理が進むにつれて、ブランクの距離データは、順次、計算された距離データによって置き換えられる。
【0214】
［測距装置の動作］
図２７は、本変形例における測距装置１００の動作を示すフローチャートである。図２７に示す動作は、図１９に示す動作におけるステップＳ４１１０からＳ４１５０が、ステップＳ７１１０からＳ７１７０に置き換わった点を除き、図１９に示す動作と同じである。以下、図１９に示す動作と異なる点を主に説明する。
図２７は、本変形例における測距装置１００の動作を示すフローチャートである。図２７に示す動作は、図１９に示す動作におけるステップＳ４１１０からＳ４１５０が、ステップＳ７１１０からＳ７１７０に置き換わった点を除き、図１９に示す動作と同じである。以下、図１９に示す動作と異なる点を主に説明する。
【0215】
（ステップＳ７１１０）
ステップＳ１１２０からＳ１１８０の動作により、１フレーム分の露光期間ごとの輝度データの取得が完了すると、処理回路１３０は、当該データが示す各画像を複数の領域に分割する。このとき、制御装置２００から送信された信号に記述された領域ＩＤと領域範囲の情報に従って、各画像を複数の領域に分割する。
ステップＳ１１２０からＳ１１８０の動作により、１フレーム分の露光期間ごとの輝度データの取得が完了すると、処理回路１３０は、当該データが示す各画像を複数の領域に分割する。このとき、制御装置２００から送信された信号に記述された領域ＩＤと領域範囲の情報に従って、各画像を複数の領域に分割する。
【0216】
（ステップＳ７１２０）
処理回路１３０は、ステップＳ７１１０で分割された領域の全てについて出力データの生成が終了したか否かを判断する。全領域について出力データの生成が終了している場合、ステップＳ７１４０に進む。出力データの生成が終了していない領域がまだ残っている場合、ステップＳ７１３０に進む。
処理回路１３０は、ステップＳ７１１０で分割された領域の全てについて出力データの生成が終了したか否かを判断する。全領域について出力データの生成が終了している場合、ステップＳ７１４０に進む。出力データの生成が終了していない領域がまだ残っている場合、ステップＳ７１３０に進む。
【0217】
（ステップＳ７１３０）
処理回路１３０は、ステップＳ７１１０で分割された領域のうち、出力データがまだ生成されていない領域のうちの１つを選択する。
処理回路１３０は、ステップＳ７１１０で分割された領域のうち、出力データがまだ生成されていない領域のうちの１つを選択する。
【0218】
（ステップＳ７１４０）
処理回路１３０は、制御装置２００から送信された信号に基づき、ステップＳ７１３０で選択した領域の出力データとしてローデータの出力が要求されているか否かを判断する。当該領域についてローデータの出力が要求されている場合、ステップＳ７１２０に戻る。当該領域についてローデータの出力が要求されていない場合、ステップＳ７１５０に進む。
処理回路１３０は、制御装置２００から送信された信号に基づき、ステップＳ７１３０で選択した領域の出力データとしてローデータの出力が要求されているか否かを判断する。当該領域についてローデータの出力が要求されている場合、ステップＳ７１２０に戻る。当該領域についてローデータの出力が要求されていない場合、ステップＳ７１５０に進む。
【0219】
（ステップＳ７１５０）
処理回路１３０は、ステップＳ７１３０で選択された領域内の各画素について、露光期間ごとの輝度値に基づいて、前述の方法で距離を計算する。
処理回路１３０は、ステップＳ７１３０で選択された領域内の各画素について、露光期間ごとの輝度値に基づいて、前述の方法で距離を計算する。
【0220】
（ステップＳ７１６０）
処理回路１３０は、ステップＳ７１５０で計算された画素ごとの距離を記録媒体１７０に記録する。
処理回路１３０は、ステップＳ７１５０で計算された画素ごとの距離を記録媒体１７０に記録する。
【0221】
図２８は、記録媒体１７０に記録されるデータの一例を示す図である。時刻ＩＤと詳細時刻との組、および領域ＩＤと領域範囲との組が記録される。また、画素ごとに、当該画素が含まれる領域のＩＤと、ステップＳ１１８０で読みだされた各露光期間における電荷の値と、各露光期間を特定する時刻ＩＤとが記録される。ローデータの出力が要求されていない領域内の画素については、ステップＳ７１５０で計算された距離も記録される。ローデータの出力が要求されている領域内の画素については、距離は記録されない。
【0222】
（ステップＳ７１７０）
処理回路１３０は、画素ごとに記録された距離を画素値に変換して距離データを生成する。距離データがない画素については露光期間ごとの電荷の値を輝度値に変換して輝度データを生成する。処理回路１３０は、生成した画像データを詳細な時刻データとあわせてインターフェース１５０を介して出力する。
処理回路１３０は、画素ごとに記録された距離を画素値に変換して距離データを生成する。距離データがない画素については露光期間ごとの電荷の値を輝度値に変換して輝度データを生成する。処理回路１３０は、生成した画像データを詳細な時刻データとあわせてインターフェース１５０を介して出力する。
【0223】
［データフォーマットの例］
図２９Ａおよび図２９Ｂは、出力データの形式の一例を示す図である。この例では、複数のフレームに共通する固定値として、図７Ａおよび図７Ｂの例と同様、測距装置の位置、方向、画角、画素配置、および各露光期間のタイミングデータが出力される。
図２９Ａおよび図２９Ｂは、出力データの形式の一例を示す図である。この例では、複数のフレームに共通する固定値として、図７Ａおよび図７Ｂの例と同様、測距装置の位置、方向、画角、画素配置、および各露光期間のタイミングデータが出力される。
【0224】
図２９Ａおよび図２９Ｂの例では、フレームごとに変動する値として、以下のデータが順に出力される。まず、データが取得された日および詳細な時刻と、イメージセンサ１２１の画素配列の分割の領域数とが出力される。続いて、各領域の範囲を示す先頭画素座標と終端画素座標とが、領域の数だけ出力される。なお、本変形例では、各領域の形状は矩形であるが、楕円形などの他の形状でもよい。さらに、距離データが出力される領域の数と、距離データが出力される各領域のＩＤと、ローデータが出力される領域の数と、ローデータが出力される各領域のＩＤとが続く。これらの情報に続いて、ローデータ出力が要求されていない画素のそれぞれの距離が出力される。さらに、露光期間ごとに、ローデータ出力が要求されている画素のそれぞれの輝度値が順に出力される。
【0225】
［制御装置の動作］
図３０は、本変形例における制御装置２００の処理回路２３０が実行する処理の例を示すフローチャートである。図３０に示すステップのうち、ステップＳ２１２０、Ｓ２１３０、Ｓ２１７０－Ｓ２２００は、図８に示す対応するステップと同じである。以下、各ステップの動作を説明する。
図３０は、本変形例における制御装置２００の処理回路２３０が実行する処理の例を示すフローチャートである。図３０に示すステップのうち、ステップＳ２１２０、Ｓ２１３０、Ｓ２１７０－Ｓ２２００は、図８に示す対応するステップと同じである。以下、各ステップの動作を説明する。
【0226】
（ステップＳ２１２０）
処理回路２３０は、図示されていない外部の装置から動作終了の信号が入力されているか否かを判断する。動作終了信号が入力されている場合、動作を終了する。動作終了信号が入力されていない場合、ステップＳ２１３０に進む。
処理回路２３０は、図示されていない外部の装置から動作終了の信号が入力されているか否かを判断する。動作終了信号が入力されている場合、動作を終了する。動作終了信号が入力されていない場合、ステップＳ２１３０に進む。
【0227】
（ステップＳ２１３０）
処理回路２３０は、測距装置１００からデータの入力があるか否かを判定する。測距装置１００からデータの入力がある場合、当該データを記録媒体２７０に記録し、ステップＳ９１１０に進む。測距装置１００からデータの入力がない場合、ステップＳ２１２０に戻る。
処理回路２３０は、測距装置１００からデータの入力があるか否かを判定する。測距装置１００からデータの入力がある場合、当該データを記録媒体２７０に記録し、ステップＳ９１１０に進む。測距装置１００からデータの入力がない場合、ステップＳ２１２０に戻る。
【0228】
（ステップＳ９１１０）
処理回路２３０は、記録媒体２７０に記録されたフレームごとの入力データから、当該データが示す画像を複数の領域に分割するときの領域数、および各領域の画素範囲を示すデータを取得する。さらに、処理回路２３０は、すべての領域での処理が終了したか否かを判断する。すべての領域について処理が終了している場合は、ステップＳ９１７０およびステップＳ２１７０に進む。分割された複数の領域のうち未処理の領域がある場合は、ステップＳ９１２０に進む。なお、本変形例ではステップＳ９１７０からＳ９１９０の処理と、ステップＳ２１７０からＳ２２００の処理とが並列的に行われるが、これらを直列的に行ってもよい。
処理回路２３０は、記録媒体２７０に記録されたフレームごとの入力データから、当該データが示す画像を複数の領域に分割するときの領域数、および各領域の画素範囲を示すデータを取得する。さらに、処理回路２３０は、すべての領域での処理が終了したか否かを判断する。すべての領域について処理が終了している場合は、ステップＳ９１７０およびステップＳ２１７０に進む。分割された複数の領域のうち未処理の領域がある場合は、ステップＳ９１２０に進む。なお、本変形例ではステップＳ９１７０からＳ９１９０の処理と、ステップＳ２１７０からＳ２２００の処理とが並列的に行われるが、これらを直列的に行ってもよい。
【0229】
（ステップＳ９１２０）
処理回路２３０は、分割された複数の領域のうち、まだ処理が行われていない領域の１つを選択する。
処理回路２３０は、分割された複数の領域のうち、まだ処理が行われていない領域の１つを選択する。
【0230】
（ステップＳ９１３０）
処理回路２３０は、記録媒体２７０に記録されたフレームごとの入力データを参照し、ステップＳ９１２０で選択した領域の領域ＩＤが距離領域ＩＤに含まれるか否かを判断する。当該領域の領域ＩＤが距離領域ＩＤに含まれる場合、ステップＳ９１１０に戻る。当該領域の領域ＩＤが距離領域ＩＤに含まれない場合、すなわち当該領域の領域ＩＤがＲａｗ領域ＩＤに含まれる場合、ステップＳ９１４０に進む。
処理回路２３０は、記録媒体２７０に記録されたフレームごとの入力データを参照し、ステップＳ９１２０で選択した領域の領域ＩＤが距離領域ＩＤに含まれるか否かを判断する。当該領域の領域ＩＤが距離領域ＩＤに含まれる場合、ステップＳ９１１０に戻る。当該領域の領域ＩＤが距離領域ＩＤに含まれない場合、すなわち当該領域の領域ＩＤがＲａｗ領域ＩＤに含まれる場合、ステップＳ９１４０に進む。
【0231】
（ステップＳ９１４０）
処理回路２３０は、記録媒体２７０に記録された、測距装置１００からの入力データのうち、当該領域のローデータ、すなわち図２９Ａおよび図２９Ｂに示す露光期間Ａ０、Ａ１、およびＡ２のそれぞれの輝度データを取得する。処理回路２３０は、取得したローデータに対して前処理を行う。前処理の例として、例えばノイズ除去処理を行う。ノイズ除去は、当該領域として抽出された画素範囲の露光期間Ａ０の輝度画像と、露光期間Ａ１の輝度画像と、露光期間Ａ２の輝度画像のそれぞれに適応フィルタを用いたノイズ除去処理を行う。前処理として、適応フィルタ以外のノイズ除去処理を行ってもよい。また。コントラスト強調、またはエッジ抽出のような、ノイズ除去処理以外の信号処理を行ってもよい。
処理回路２３０は、記録媒体２７０に記録された、測距装置１００からの入力データのうち、当該領域のローデータ、すなわち図２９Ａおよび図２９Ｂに示す露光期間Ａ０、Ａ１、およびＡ２のそれぞれの輝度データを取得する。処理回路２３０は、取得したローデータに対して前処理を行う。前処理の例として、例えばノイズ除去処理を行う。ノイズ除去は、当該領域として抽出された画素範囲の露光期間Ａ０の輝度画像と、露光期間Ａ１の輝度画像と、露光期間Ａ２の輝度画像のそれぞれに適応フィルタを用いたノイズ除去処理を行う。前処理として、適応フィルタ以外のノイズ除去処理を行ってもよい。また。コントラスト強調、またはエッジ抽出のような、ノイズ除去処理以外の信号処理を行ってもよい。
【0232】
（ステップＳ９１５０）
処理回路２３０は、当該領域に含まれる画素範囲について、ステップＳ９１４０でノイズ除去処理を行った露光期間ごとの画像データを用いて、画素ごとの距離計算を行う。当該領域内の露光期間ごとの画像データより、同一画素の画素値を抽出し、前述の計算式に基づいて距離を求めることができる。
処理回路２３０は、当該領域に含まれる画素範囲について、ステップＳ９１４０でノイズ除去処理を行った露光期間ごとの画像データを用いて、画素ごとの距離計算を行う。当該領域内の露光期間ごとの画像データより、同一画素の画素値を抽出し、前述の計算式に基づいて距離を求めることができる。
【0233】
（ステップＳ９１６０）
処理回路２３０は、ステップＳ９１５０で計算した、当該領域内の画素ごとの距離データを、記録媒体２７０に記憶する。ステップＳ９１６０を実行した後、ステップＳ９１１０に戻る。
処理回路２３０は、ステップＳ９１５０で計算した、当該領域内の画素ごとの距離データを、記録媒体２７０に記憶する。ステップＳ９１６０を実行した後、ステップＳ９１１０に戻る。
【0234】
（ステップＳ９１７０）
全領域について、距離データが生成されると、処理回路２３０は、測距装置１００から入力されたデータにおいて距離の値をもつ画素の距離と、ステップＳ９１５０で距離が計算された画素の距離とを合わせて、距離画像データを生成する。そして、この距離画像データの画素を距離に従ってクラスタリングする。これにより、距離画像データ内の各画素が、複数の距離範囲にそれぞれ対応する複数のクラスタのいずれかに分類される。
全領域について、距離データが生成されると、処理回路２３０は、測距装置１００から入力されたデータにおいて距離の値をもつ画素の距離と、ステップＳ９１５０で距離が計算された画素の距離とを合わせて、距離画像データを生成する。そして、この距離画像データの画素を距離に従ってクラスタリングする。これにより、距離画像データ内の各画素が、複数の距離範囲にそれぞれ対応する複数のクラスタのいずれかに分類される。
【0235】
（ステップＳ９１８０）
処理回路２３０は、ステップＳ９１７０で生成されたクラスタのうち、距離０と距離無限大のクラスタを除いたクラスタのそれぞれについて、当該クラスタを特徴づける距離範囲内の画素数Ｎ１と、当該クラスタを特徴づける距離範囲外の画素数Ｎ２との比Ｎ１／Ｎ２があらかじめ定められた第１の閾値以上かつ第１の閾値よりも大きい第２の閾値未満となる当該クラスタの周辺の領域を抽出する。処理回路２３０は、抽出した領域に最も近い矩形領域をローデータ要求領域として設定する。
処理回路２３０は、ステップＳ９１７０で生成されたクラスタのうち、距離０と距離無限大のクラスタを除いたクラスタのそれぞれについて、当該クラスタを特徴づける距離範囲内の画素数Ｎ１と、当該クラスタを特徴づける距離範囲外の画素数Ｎ２との比Ｎ１／Ｎ２があらかじめ定められた第１の閾値以上かつ第１の閾値よりも大きい第２の閾値未満となる当該クラスタの周辺の領域を抽出する。処理回路２３０は、抽出した領域に最も近い矩形領域をローデータ要求領域として設定する。
【0236】
（ステップＳ９１９０）
処理回路２３０は、ステップＳ９１８０で設定された、ローデータ要求領域以外の領域を１つ以上の矩形領域に分割し、各矩形領域を非ローデータ要求領域、すなわち距離データ要求領域とする。処理回路２３０は、ローデータ要求領域と距離データ要求領域のそれぞれについて、当該領域の範囲を示すデータと、当該領域について指定するデータ形式、すなわち、ローデータか距離データかを示すデータコードとを含む指示信号を、測距装置１００に送信する。
処理回路２３０は、ステップＳ９１８０で設定された、ローデータ要求領域以外の領域を１つ以上の矩形領域に分割し、各矩形領域を非ローデータ要求領域、すなわち距離データ要求領域とする。処理回路２３０は、ローデータ要求領域と距離データ要求領域のそれぞれについて、当該領域の範囲を示すデータと、当該領域について指定するデータ形式、すなわち、ローデータか距離データかを示すデータコードとを含む指示信号を、測距装置１００に送信する。
【0237】
図３１は、指示信号の形式の一例を示す図である。図３１の例では、指示信号は、領域数と、データコード（すなわち、ローデータ／距離データを表す２値）と、各領域の範囲と、領域ＩＤ順に記述されたデータコードとを示すデータを含む。
【0238】
処理回路２３０は、ステップＳ９１７０からステップＳ９１９０の動作により、測距装置１００への出力信号を生成する。並行して、処理回路２３０は、ステップＳ２１７０からステップＳ２２００の動作により、測距装置１００の出力に基づいた自動運転車の制御信号を生成する。ステップＳ２１７０からステップＳ２２００の動作は、図８に示す対応するステップの動作と同じである。ステップＳ９１９０およびＳ２２００の後、ステップＳ２１２０に戻り、同様の動作が繰り返される。
【0239】
［効果］
以上のように、本変形例における制御装置２００の処理回路２３０は、測距装置１００の出力に基づいて生成した距離画像データに基づいて、測距装置１００のイメージセンサ１２１における画素群を複数の領域に分割する。そして、領域ごとにローデータの出力、または距離データの出力を測距装置１００に要求する。制御装置２００からの要求に応じて、測距装置１００の処理回路１３０は、ローデータを出力するか距離データを出力するかを領域ごとに決定する。これにより、例えば測距装置１００から出力された距離データの精度が低い領域について、ローデータの出力を要求し、制御装置２００の処理回路２３０がより詳細な信号処理を行うことができる。結果として、相対的に低い性能をもつ測距装置１００の処理回路１３０では、短時間で生成することが困難な、精度の高い距離データを処理回路２３０が生成することができる。
以上のように、本変形例における制御装置２００の処理回路２３０は、測距装置１００の出力に基づいて生成した距離画像データに基づいて、測距装置１００のイメージセンサ１２１における画素群を複数の領域に分割する。そして、領域ごとにローデータの出力、または距離データの出力を測距装置１００に要求する。制御装置２００からの要求に応じて、測距装置１００の処理回路１３０は、ローデータを出力するか距離データを出力するかを領域ごとに決定する。これにより、例えば測距装置１００から出力された距離データの精度が低い領域について、ローデータの出力を要求し、制御装置２００の処理回路２３０がより詳細な信号処理を行うことができる。結果として、相対的に低い性能をもつ測距装置１００の処理回路１３０では、短時間で生成することが困難な、精度の高い距離データを処理回路２３０が生成することができる。
【0240】
本変形例では、制御装置２００が測距装置１００に対して、領域ごとに、ローデータまたは距離データの出力を要求する。このような動作に代えて、例えば、測距装置１００にすべての画素についての距離データを出力させ、特定の領域について、距離データに加えてローデータの出力を要求してもよい。特定の領域についてローデータを追加で出力することを要求する場合、制御装置２００から出力される指示信号には、例えば、ローデータを追加で出力させる領域の数と、それらの領域のそれぞれの範囲を指定するデータが含まれ得る。
【0241】
図３２は、特定の領域に対してローデータを追加で出力することを要求する指示信号を取得した場合の測距装置１００の動作の一例を示すフローチャートである。図３２に示す動作において、ステップＳ１１１０からＳ１１８０、Ｓ７１５０およびＳ７１６０は、図２７に示す対応するステップと同じである。図３２に示す例では、図２７の例におけるステップＳ７１１０、Ｓ７１２０，Ｓ７１３０、およびＳ７２４０に代えて、ステップＳ７２１０およびＳ７２２０が実行される。また、ステップＳ７１７０に代えて、ステップＳ７２３０が実行される。以下、これらのステップを説明する。
【0242】
（ステップＳ７２１０）
ステップＳ１１８０の動作の後、処理回路１３０は、制御装置２００から送信された指示信号に記述された、距離データに加えてローデータを出力する領域を記録媒体１７０に記録する。
ステップＳ１１８０の動作の後、処理回路１３０は、制御装置２００から送信された指示信号に記述された、距離データに加えてローデータを出力する領域を記録媒体１７０に記録する。
【0243】
（ステップＳ７２２０）
処理回路１３０は、イメージセンサ１２１のすべての画素において距離計算を終了したか否かを判断する。全画素の距離計算が終了している場合、ステップＳ７２３０に進む。距離計算が終了していない画素がある場合、ステップＳ７１５０およびステップＳ７１６０の動作を行い、ステップＳ７２２０に戻る。
処理回路１３０は、イメージセンサ１２１のすべての画素において距離計算を終了したか否かを判断する。全画素の距離計算が終了している場合、ステップＳ７２３０に進む。距離計算が終了していない画素がある場合、ステップＳ７１５０およびステップＳ７１６０の動作を行い、ステップＳ７２２０に戻る。
【0244】
（ステップＳ７２３０）
処理回路１３０は、記録媒体１７０に記録された各画素の距離データと、制御装置２００から送信された指示信号で指定された領域の各画素のローデータとを出力する。
処理回路１３０は、記録媒体１７０に記録された各画素の距離データと、制御装置２００から送信された指示信号で指定された領域の各画素のローデータとを出力する。
【0245】
図３３Ａおよび図３３Ｂは、本変形例における出力フォーマットの一例を示す図である。この例では、固定値に続いて、フレームごとに、日時、時刻、全画素について計算された距離、ローデータが出力される領域の数、ローデータが出力される領域のそれぞれの範囲、各領域内の画素についての露光期間Ａ０、Ａ１、およびＡ２のそれぞれで蓄積された電荷を示す輝度が出力される。このように、測距装置１００が全画素での距離情報に加えて、特定の領域内の画素についてローデータを追加で出力する場合、図３３Ａおよび図３３Ｂに示すような形式のデータが出力され得る。
【0246】
図３４は、制御装置２００が、図３３Ａおよび図３３Ｂに示す形式で出力されたデータを受信する場合の処理回路２３０の動作の一例を示す図である。図３４に示す動作は、図３０に示す動作におけるステップＳ９１１０からステップＳ９１６０が、ステップＳ９３１０からステップＳ９３４０に置き換わった点を除き、図３０に示す動作と同様である。以下、図３０の例と異なる動作を主に説明する。
【0247】
（ステップＳ９３１０）
処理回路２３０は、記録媒体２７０に記録されたフレームごとの入力データから、ローデータの出力のある領域とその画素範囲を特定し、ローデータの出力のある領域のすべてについての処理が完了したか否かを判断する。ローデータの出力のある領域のすべてについての処理が終了している場合、ステップＳ９１７０およびステップＳ２１７０に進む。ローデータの出力のある領域のうち未処理の領域がある場合、ステップＳ９３２０に進む。
処理回路２３０は、記録媒体２７０に記録されたフレームごとの入力データから、ローデータの出力のある領域とその画素範囲を特定し、ローデータの出力のある領域のすべてについての処理が完了したか否かを判断する。ローデータの出力のある領域のすべてについての処理が終了している場合、ステップＳ９１７０およびステップＳ２１７０に進む。ローデータの出力のある領域のうち未処理の領域がある場合、ステップＳ９３２０に進む。
【0248】
（ステップＳ９３２０）
処理回路２３０は、記録媒体２７０に記録されたフレームごとの入力データを参照し、ローデータの出力のある領域のうち、未だ処理が行われていない領域のうちの１つを選択する。
処理回路２３０は、記録媒体２７０に記録されたフレームごとの入力データを参照し、ローデータの出力のある領域のうち、未だ処理が行われていない領域のうちの１つを選択する。
【0249】
（ステップＳ９１４０）
処理回路２３０は、ステップＳ９３２０で選択された領域の範囲内の各画素について、露光期間Ａ０、Ａ１、およびＡ２のそれぞれの輝度値を取得する。処理回路２３０は、取得した各露光期間の輝度値に対して前処理を行う。前処理は、例えば前述のノイズ除去処理である。
処理回路２３０は、ステップＳ９３２０で選択された領域の範囲内の各画素について、露光期間Ａ０、Ａ１、およびＡ２のそれぞれの輝度値を取得する。処理回路２３０は、取得した各露光期間の輝度値に対して前処理を行う。前処理は、例えば前述のノイズ除去処理である。
【0250】
（ステップＳ９１５０）
処理回路２３０は、当該領域に含まれる画素について、ステップＳ９１４０でノイズ除去処理を行った後の露光期間ごとの画像データを用いて、画素ごとに距離を計算する。
処理回路２３０は、当該領域に含まれる画素について、ステップＳ９１４０でノイズ除去処理を行った後の露光期間ごとの画像データを用いて、画素ごとに距離を計算する。
【0251】
（ステップＳ９３３０）
処理回路２３０は、当該領域に含まれる画素範囲について、測距装置１００から出力された画素ごとの距離データの分散と、ステップＳ９１４０でノイズ除去処理を行った後、ステップＳ９１５０で計算された距離データの分散とを比較する。ステップＳ９１５０で計算した画素ごとの距離データの分散が、測距装置から出力された距離データの分散よりも小さい場合、ステップＳ９３４０に進む。ステップＳ９１５０で計算した画素ごとの距離データの分散が、測距装置から出力された距離データの分散以上の場合、ステップＳ９３１０に戻る。
処理回路２３０は、当該領域に含まれる画素範囲について、測距装置１００から出力された画素ごとの距離データの分散と、ステップＳ９１４０でノイズ除去処理を行った後、ステップＳ９１５０で計算された距離データの分散とを比較する。ステップＳ９１５０で計算した画素ごとの距離データの分散が、測距装置から出力された距離データの分散よりも小さい場合、ステップＳ９３４０に進む。ステップＳ９１５０で計算した画素ごとの距離データの分散が、測距装置から出力された距離データの分散以上の場合、ステップＳ９３１０に戻る。
【0252】
（ステップＳ９３４０）
処理回路２３０は、記録媒体１７０に記録された、当該領域の画素ごとの距離の値を、ステップＳ９１５０で計算された距離の値に置換する。これにより、当該領域の距離データを、ノイズが低減された距離データに修正することができる。
処理回路２３０は、記録媒体１７０に記録された、当該領域の画素ごとの距離の値を、ステップＳ９１５０で計算された距離の値に置換する。これにより、当該領域の距離データを、ノイズが低減された距離データに修正することができる。
【0253】
なお、本変形例では、制御装置２００は、距離画像を距離範囲ごとにクラスタリングして、クラスタの周辺画素の距離データの分布の状態に基づいて画像を複数の領域に分割するが、他の方法によって複数の領域を決定してもよい。各領域の範囲をフレームごとに変化させず、固定にしてもよい。また、距離データの分布、またはノイズの大きさに基づいて領域を設定してもよい。あるいは、測距装置１００および制御装置２００が搭載された移動体の速度に応じて領域の設定を変えてもよい。さらに、これら以外の方法で領域を設定してもよい。
【0254】
本変形例のように、１フレーム内にデータ形式の異なるデータが混在する場合、データの圧縮が困難である。そのため、１フレーム内で距離データとローデータとが混在する出力データを圧縮する場合には、距離データとローデータとを分割して圧縮してもよい。測距装置１００から送信されたデータを受信する制御装置２００は、取得した距離データとローデータとが混在するデータセットを処理し、全画素を距離データの形式にそろえて圧縮してもよい。
【0255】
本変形例では、測距装置１００の光源１１０はフラッシュ光を出射するが、実施形態１の変形例１のように、広がり角の少ない光ビームを出射するビームスキャナを光源１１０として用いてもよい。ビームスキャナを用いる場合には、光源１１０からの投光方向の移動は、実施形態１の変形例１における方法と同様の方法で行うことができる。投光および受光のタイミング、およびスキャン動作に伴う露光の繰り返しに関しては、実施形態１の変形例１と同様の動作を適用できる。出力データについては、広がり角の小さい光ビームによるスキャンによって広範囲の測距を行うことに伴う測距時刻のずれに対応するために、出力データに、光ビームの方向ごとに詳細な時刻データを含めてもよい。
【0256】
以上の実施形態においては、３つの露光期間で受光データをそれぞれ取得する間接ＴｏＦ法による動作を主に説明したが、本開示は、そのような動作に限定されない。例えば、露光期間の数は、３つに限らず、２つまたは４つ以上でもよい。
【産業上の利用可能性】
【0257】
本開示の技術は、測距を行う装置またはシステムに広く利用可能である。例えば、本開示の技術は、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）システムの構成要素として使用され得る。
【符号の説明】
【0258】
１００ 測距装置
１１０ 光源
１２０ 受光装置
１２１ イメージセンサ
１２２ 受光素子
１２３ スイッチ
１２４ 電荷蓄積部
１３０ 処理回路
１５０ インターフェース
１６０ クロック
１７０ 記録媒体
２００ 車両制御装置
２１０ インターフェース
２３０ 処理回路
２７０ 記録媒体
２４０ 作動部
１１０ 光源
１２０ 受光装置
１２１ イメージセンサ
１２２ 受光素子
１２３ スイッチ
１２４ 電荷蓄積部
１３０ 処理回路
１５０ インターフェース
１６０ クロック
１７０ 記録媒体
２００ 車両制御装置
２１０ インターフェース
２３０ 処理回路
２７０ 記録媒体
２４０ 作動部
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図12】
【図13】
【図14A】
【図14B】
【図15A】
【図15B】
【図16A】
【図16B】
【図17A】
【図17B】
【図18】
【図19】
【図20A】
【図20B】
【図21A】
【図21B】
【図22A】
【図22B】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29A】
【図29B】
【図30】
【図31】
【図32】
【図33A】
【図33B】
【図34】