特開 2023-72099 測距装置を制御する方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023072099

(43)【公開日】2023-05-24

(54)【発明の名称】測距装置を制御する方法および装置

(51)【国際特許分類】

   G01S 17/931 20200101AFI20230517BHJP

   G01C 3/06 20060101ALI20230517BHJP

   G08G 1/16 20060101ALN20230517BHJP

   G02B 26/10 20060101ALN20230517BHJP

【ＦＩ】

G01S17/931

G01C3/06 120Q

G01C3/06 140

G08G1/16 C

G02B26/10 101

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2020067522

(22)【出願日】2020-04-03

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100101683

【弁理士】

【氏名又は名称】奥田 誠司

(74)【代理人】

【識別番号】100155000

【弁理士】

【氏名又は名称】喜多 修市

(74)【代理人】

【識別番号】100180529

【弁理士】

【氏名又は名称】梶谷 美道

(74)【代理人】

【識別番号】100125922

【弁理士】

【氏名又は名称】三宅 章子

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100188813

【弁理士】

【氏名又は名称】川喜田 徹

(74)【代理人】

【識別番号】100184985

【弁理士】

【氏名又は名称】田中 悠

(74)【代理人】

【識別番号】100202197

【弁理士】

【氏名又は名称】村瀬 成康

(74)【代理人】

【識別番号】100218981

【弁理士】

【氏名又は名称】武田 寛之

(72)【発明者】

【氏名】加藤 弓子

(72)【発明者】

【氏名】稲田 安寿

(72)【発明者】

【氏名】鳴海 建治

(72)【発明者】

【氏名】久田 和也

【テーマコード（参考）】

2F112

2H045

5H181

5J084

【Ｆターム（参考）】

2F112AD01

2F112BA05

2F112CA04

2F112CA05

2F112CA12

2F112DA09

2F112DA15

2F112DA19

2F112DA21

2F112DA22

2F112DA25

2F112DA28

2F112EA05

2F112EA07

2F112FA29

2F112FA35

2F112FA38

2F112GA01

2H045AB13

2H045AB72

2H045AB73

2H045BA12

2H045BA13

5H181AA01

5H181CC02

5H181CC04

5H181LL01

5H181LL04

5H181LL09

5J084AA05

5J084AA07

5J084AB01

5J084AB07

5J084AC02

5J084AC07

5J084AD01

5J084AD02

5J084AD05

5J084BA04

5J084BA17

5J084BA20

5J084BA34

5J084BA36

5J084BA40

5J084BA48

5J084BA50

5J084BB02

5J084BB20

5J084BB27

5J084BB28

5J084BB34

5J084BB35

5J084CA03

5J084CA10

5J084CA22

5J084CA44

5J084CA53

5J084CA65

5J084CA67

5J084EA05

5J084EA22

(57)【要約】

【課題】対象物の距離情報をより効率的に取得する。
【解決手段】光ビームの出射方向を変化させることが可能な発光装置と、前記光ビームの出射によって生じた反射光ビームを検出する受光装置と、を備える測距装置を制御する方法が開示される。当該方法は、測距対象のシーンの画像を取得するイメージセンサによって異なる時刻に取得された複数の画像のデータを取得することと、前記複数の画像のデータに基づき、前記複数の画像に含まれる１つ以上の対象物の測距の優先度を決定することと、前記優先度に応じた方向に、前記優先度に応じた順序で、前記発光装置に前記光ビームを出射させ、前記受光装置に前記反射光ビームを検出させることにより、前記１つ以上の対象物の測距を実行することと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

光ビームの出射方向を変化させることが可能な発光装置と、前記光ビームの出射によって生じた反射光ビームを検出する受光装置と、を備える測距装置を制御する方法であって、
測距対象のシーンの画像を取得するイメージセンサによって異なる時刻に取得された複数の画像のデータを取得することと、
前記複数の画像のデータに基づき、前記複数の画像に含まれる１つ以上の対象物の測距の優先度を決定することと、
前記優先度に応じた方向に、前記優先度に応じた順序で、前記発光装置に前記光ビームを出射させ、前記受光装置に前記反射光ビームを検出させることにより、前記１つ以上の対象物の測距を実行することと、
を含む方法。

【請求項2】

前記測距装置は、移動体に搭載され、
前記方法は、前記移動体から、前記移動体の動作を示すデータを取得することを含み、
前記優先度は、前記複数の画像のデータと、前記移動体の動作を示すデータとに基づいて決定される、
請求項１に記載の方法。

【請求項3】

前記優先度を決定することは、
前記複数の画像に基づいて、前記１つ以上の対象物のモーションベクトルを生成することと、
前記移動体の動作を示すデータに基づいて、前記移動体の動作に起因して生じる静止物体のモーションベクトルを生成することと、
前記対象物のモーションベクトルと、前記静止物体のモーションベクトルとの差である相対速度ベクトルに基づいて、前記優先度を決定することと、
を含む、請求項２に記載の方法。

【請求項4】

前記測距を実行した後、前記対象物を特定する情報と、前記対象物までの距離を示す情報とを含むデータを、前記移動体に出力することをさらに含む、請求項２または３に記載の方法。

【請求項5】

前記優先度は、前記相対速度ベクトルの時間変化の大きさに基づいて決定される、請求項４に記載の方法。

【請求項6】

前記複数の画像のデータを取得することは、前記イメージセンサによって連続して取得された第１の画像、第２の画像、および第３の画像のデータを取得することを含み、
前記優先度を決定することは、
前記第１の画像と前記第２の画像とに基づいて、前記対象物の第１のモーションベクトルを生成することと、
前記第２の画像と前記第３の画像とに基づいて、前記対象物の第２のモーションベクトルを生成することと、
前記移動体の動作を示すデータに基づいて、前記移動体の動作に起因して生じる静止物体のモーションベクトルを生成することと、
前記第１のモーションベクトルと、前記静止物体のモーションベクトルとの差である第１の相対速度ベクトルを生成することと、
前記第２のモーションベクトルと、前記静止物体のモーションベクトルとの差である第２の相対速度ベクトルを生成することと、
前記第１の相対速度ベクトルと前記第２の相対速度ベクトルとの差に基づいて、前記優先度を決定することと、
を含む、請求項２から５のいずれかに記載の方法。

【請求項7】

前記画像のデータの取得と、前記対象物の測距の優先度の決定と、前記対象物の測距の実行とを含むサイクルを複数回繰り返すことを含む、請求項１から６のいずれかに記載の方法。

【請求項8】

あるサイクルにおいて前記測距が実行された対象物については、次回のサイクルにおいて、前記優先度を決定することなく、前記測距が継続される、請求項７に記載の方法。

【請求項9】

前記優先度に応じて、前記光ビームの照射時間を決定することをさらに含む、請求項１から８のいずれかに記載の方法。

【請求項10】

前記優先度に応じて、前記光ビームの出射および前記反射光ビームの検出の反復回数を決定することをさらに含む、請求項１から９のいずれかに記載の方法。

【請求項11】

前記受光装置が前記イメージセンサを備える、請求項１から１０のいずれかに記載の方法。

【請求項12】

前記イメージセンサは、前記発光装置から出射された光によって前記画像を取得する、請求項１１に記載の方法。

【請求項13】

光ビームの出射方向を変化させることが可能な発光装置と、前記光ビームの出射によって生じた反射光ビームを検出する受光装置と、を備える測距装置を制御する制御装置であって、
プロセッサと、
前記プロセッサによって実行されるコンピュータプログラムを格納した記憶媒体と、
を備え、
前記コンピュータプログラムは、前記プロセッサに、
測距対象のシーンの画像を取得するイメージセンサによって異なる時刻に取得された複数の画像のデータを取得することと、
前記複数の画像のデータに基づき、前記複数の画像に含まれる１つ以上の対象物の測距の優先度を決定することと、
前記優先度に応じた方向に、前記優先度に応じた順序で、前記発光装置に前記光ビームを出射させ、前記受光装置に前記反射光ビームを検出させることにより、前記１つ以上の対象物の測距を実行することと、
を実行させる、制御装置。

【請求項14】

請求項１３に記載の制御装置と、
前記発光装置と、
前記制御装置と、
を備えるシステム。

【請求項15】

光ビームの出射方向を変化させることが可能な発光装置と、前記光ビームの出射によって生じた反射光ビームを検出する受光装置と、を備える測距装置を制御するプロセッサによって実行されるコンピュータプログラムであって、
前記プロセッサに、
測距対象のシーンの画像を取得するイメージセンサによって異なる時刻に取得された複数の画像のデータを取得することと、
前記複数の画像のデータに基づき、前記複数の画像に含まれる１つ以上の対象物の測距の優先度を決定することと、
前記優先度に応じた方向に、前記優先度に応じた順序で、前記発光装置に前記光ビームを出射させ、前記受光装置に前記反射光ビームを検出させることにより、前記１つ以上の対象物の測距を実行することと、
を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、測距装置を制御する方法および装置に関する。

【背景技術】

【0002】

自動運転車および自走式ロボットのような自走システムにおいて、他の車両または人等との衝突を回避することが重要である。そのために、カメラまたは測距装置による外部環境のセンシングを行うシステムが利用されている。

【0003】

測距に関しては、空間中に存在する１つ以上の物体までの距離を計測する種々のデバイスが提案されている。例えば、特許文献１から３は、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）技術を利用して物体までの距離を計測するシステムを開示している。

【0004】

特許文献１は、光ビームで空間をスキャンし、物体からの反射光を検出することにより、物体までの距離を計測するシステムを開示している。このシステムは、複数のフレーム期間の各々において、光ビームの方向を変化させながら、イメージセンサにおける１つ以上の受光素子に、反射光を逐次検出させる。このような動作により、対象シーン全体の距離情報の取得に要する時間を短縮することに成功している。

【0005】

特許文献２は、複数回の全方位の測距により、自車の移動方向とは異なる方向に移動する横断物体を検出する方法を開示している。光源からの光パルスの強度または出射回数を増加させることにより、信号に対するノイズの比率を低減すること等が開示されている。

【0006】

特許文献３は、遠方の対象物についての詳細な距離情報を得るために、第１の測距装置とは別に、遠方の対象物に光ビームを出射する第２の測距装置を設けることを開示している。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１８－１２４２７１号公報

【特許文献2】特開２００９－２１７６８０号公報

【特許文献3】特開２０１８－０４９０１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本開示は、シーン中に存在する１つ以上の対象物の距離情報をより効率的に取得するための技術を提供する。

【課題を解決するための手段】

【0009】

本開示の一態様に係る方法は、光ビームの出射方向を変化させることが可能な発光装置と、前記光ビームの出射によって生じた反射光ビームを検出する受光装置と、を備える測距装置を制御する方法である。前記方法は、測距対象のシーンの画像を取得するイメージセンサによって異なる時刻に取得された複数の画像のデータを取得することと、
前記複数の画像のデータに基づき、前記複数の画像に含まれる１つ以上の対象物の測距の優先度を決定することと、前記優先度に応じた方向に、前記優先度に応じた順序で、前記発光装置に前記光ビームを出射させ、前記受光装置に前記反射光ビームを検出させることにより、前記１つ以上の対象物の測距を実行することと、を含む。

【0010】

本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ‐Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含み得る。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

【発明の効果】

【0011】

本開示の一態様によれば、シーン中に存在する１つ以上の対象物の距離情報をより効率的に取得することができる。

【0012】

本開示の一態様の付加的な恩恵および有利な点は本明細書および図面から明らかとなる。この恩恵および／または有利な点は、本明細書および図面に開示した様々な態様および特徴により個別に提供され得るものであり、その１つ以上を得るために全てが必要ではない。

【図面の簡単な説明】

【0013】

【図1】本開示の例示的な実施形態における測距システムを模式的に示す図である。

【図2】発光装置の一例を示す図である。

【図3】発光装置の他の例を模式的に示す斜視図である。

【図4】光導波路素子の構造の例を模式的に示す図である。

【図5】位相シフタの例を模式的に示す図である。

【図6】間接ＴｏＦ方式の測距方法の例を説明するための図である。

【図7】間接ＴｏＦ方式の測距方法の他の例を説明するための図である。

【図8A】第１記憶装置に記録されるデータの例を示す図である。

【図8B】第１記憶装置に記録されるデータの例を示す図である。

【図8C】第１記憶装置に記録されるデータの例を示す図である。

【図8D】第１記憶装置に記録されるデータの例を示す図である。

【図9A】第２記憶装置に記録されるデータの例を示す図である。

【図9B】第２記憶装置に記録されるデータの例を示す図である。

【図9C】第２記憶装置に記録されるデータの例を示す図である。

【図9D】第２記憶装置に記録されるデータの例を示す図である。

【図10】第３記憶装置に記録されるデータの例を示す図である。

【図11】測距システムの動作の概要を示すフローチャートである。

【図12A】クラスタごとの測距方法の例を示す図である。

【図12B】クラスタごとの測距方法の例を示す図である。

【図12C】クラスタごとの測距方法の例を示す図である。

【図13】図１１におけるステップＳ１４００の動作の詳細を示すフローチャートである。

【図14A】直前のフレームｆ０の画像の例を示す図である。

【図14B】現フレームｆ１の画像の例を示す図である。

【図14C】フレームｆ０およびｆ１の画像を重ね合わせ、モーションベクトルを表示した図である。

【図14D】自車動作によるモーションベクトルの例を示す図である。

【図14E】相対速度ベクトルの例を示す図である。

【図15】ステップＳ１４０７における自車動作によるモーションベクトル計算処理の詳細を示すフローチャートである。

【図16A】測距システムが移動体の正面に配置され、移動体が前進している場合の見かけのモーションベクトルの例を示す図である。

【図16B】測距システムが移動体の前面右側に配置され、移動体が前進している場合の見かけのモーションベクトルの例を示す図である。

【図16C】測距システムが移動体の右側面に配置され、移動体が前進している場合の見かけのモーションベクトルの例を示す図である。

【図16D】測距システムが移動体の後部中央に配置され、移動体が前進している場合の見かけのモーションベクトルの例を示す図である。

【図17】ステップＳ１５００における危険度計算の処理の詳細を示すフローチャートである。

【図18】ステップＳ１５０３の処理の例を説明するための図である。

【図19】ステップＳ１５０４における加速度危険度の計算方法の詳細な例を示すフローチャートである。

【図20A】自車が等速で直進している場合における加速度ベクトルの計算処理を説明するための第１の図である。

【図20B】自車が等速で直進している場合における加速度ベクトルの計算処理を説明するための第２の図である。

【図20C】自車が等速で直進している場合における加速度ベクトルの計算処理を説明するための第３の図である。

【図21A】自車が加速しながら直進している場合における加速度ベクトルの計算処理を説明するための第１の図である。

【図21B】自車が加速しながら直進している場合における加速度ベクトルの計算処理を説明するための第２の図である。

【図21C】自車が加速しながら直進している場合における加速度ベクトルの計算処理を説明するための第３の図である。

【図22A】自車が減速しながら直進している場合における加速度ベクトルの計算処理を説明するための第１の図である。

【図22B】自車が減速しながら直進している場合における加速度ベクトルの計算処理を説明するための第２の図である。

【図22C】自車が減速しながら直進している場合における加速度ベクトルの計算処理を説明するための第３の図である。

【図23A】自車が右に方向転換する場合における加速度ベクトルの計算処理を説明するための第１の図である。

【図23B】自車が右に方向転換する場合における加速度ベクトルの計算処理を説明するための第２の図である。

【図23C】自車が右に方向転換する場合における加速度ベクトルの計算処理を説明するための第３の図である。

【図24】ステップＳ１６００の動作の詳細な例を示すフローチャートである。

【図25】ステップＳ１７００における測距の動作の詳細な例を示すフローチャートである。

【図26】ステップＳ１８００におけるデータ統合処理の詳細な例を示すフローチャートである。

【図27】移動体の座標系の例を示す図である。

【図28A】処理装置が生成する出力データの一例を示す図である。

【図28B】出力データの他の例を示す図である。

【図29A】測距システムが移動体の前面右端に設置されている場合におけるベクトル生成処理を説明するための第１の図である。

【図29B】測距システムが移動体の前面右端に設置されている場合におけるベクトル生成処理を説明するための第２の図である。

【図29C】測距システムが移動体の前面右端に設置されている場合におけるベクトル生成処理を説明するための第３の図である。

【図29D】測距システムが移動体の前面右端に設置されている場合におけるベクトル生成処理を説明するための第４の図である。

【図29E】測距システムが移動体の前面右端に設置されている場合におけるベクトル生成処理を説明するための第５の図である。

【図30】測距システムが移動体の前面右端に設置されている場合におけるシーン内の対象物の予測相対位置の例を示す図である。

【図31A】測距システムが移動体の右側面に設置されている場合におけるベクトル生成処理を説明するための第１の図である。

【図31B】測距システムが移動体の右側面に設置されている場合におけるベクトル生成処理を説明するための第２の図である。

【図31C】測距システムが移動体の右側面に設置されている場合におけるベクトル生成処理を説明するための第３の図である。

【図31D】測距システムが移動体の右側面に設置されている場合におけるベクトル生成処理を説明するための第４の図である。

【図31E】測距システムが移動体の右側面に設置されている場合におけるベクトル生成処理を説明するための第５の図である。

【図32A】測距システムが移動体の後方中央に設置されている場合におけるベクトル生成処理を説明するための第１の図である。

【図32B】測距システムが移動体の後方中央に設置されている場合におけるベクトル生成処理を説明するための第２の図である。

【図32C】測距システムが移動体の後方中央に設置されている場合におけるベクトル生成処理を説明するための第３の図である。

【図32D】測距システムが移動体の後方中央に設置されている場合におけるベクトル生成処理を説明するための第４の図である。

【図32E】測距システムが移動体の後方中央に設置されている場合におけるベクトル生成処理を説明するための第５の図である。

【図33】測距システムが移動体の後方中央に設置されている場合におけるシーン内の対象物の予測相対位置の例を示す図である。

【図34A】測距システムが移動体の前面右端に設置されており、自車が加速しながら直進している場合における加速度ベクトルの計算処理の例を示す第１の図である。

【図34B】測距システムが移動体の前面右端に設置されており、自車が加速しながら直進している場合における加速度ベクトルの計算処理の例を示す第２の図である。

【図34C】測距システムが移動体の前面右端に設置されており、自車が加速しながら直進している場合における加速度ベクトルの計算処理の例を示す第３の図である。

【図35A】測距システムが移動体の前面右端に設置されており、自車が減速しながら直進している場合における加速度ベクトルの計算処理の例を示す第１の図である。

【図35B】測距システムが移動体の前面右端に設置されており、自車が減速しながら直進している場合における加速度ベクトルの計算処理の例を示す第２の図である。

【図35C】測距システムが移動体の前面右端に設置されており、自車が減速しながら直進している場合における加速度ベクトルの計算処理の例を示す第３の図である。

【図36A】測距システムが移動体の前面右端に設置されており、自車が減速しながら右に方向転換する場合における加速度ベクトルの計算処理の例を示す第１の図である。

【図36B】測距システムが移動体の前面右端に設置されており、自車が減速しながら右に方向転換する場合における加速度ベクトルの計算処理の例を示す第２の図である。

【図36C】測距システムが移動体の前面右端に設置されており、自車が減速しながら右に方向転換する場合における加速度ベクトルの計算処理の例を示す第３の図である。

【図37A】測距システムが移動体の右側面に設置されており、自車が加速しながら直進している場合における加速度ベクトルの計算処理の例を示す第１の図である。

【図37B】測距システムが移動体の右側面に設置されており、自車が加速しながら直進している場合における加速度ベクトルの計算処理の例を示す第２の図である。

【図37C】測距システムが移動体の右側面に設置されており、自車が加速しながら直進している場合における加速度ベクトルの計算処理の例を示す第３の図である。

【図38A】測距システムが移動体の右側面に設置されており、自車が減速しながら直進している場合における加速度ベクトルの計算処理の例を示す第１の図である。

【図38B】測距システムが移動体の右側面に設置されており、自車が減速しながら直進している場合における加速度ベクトルの計算処理の例を示す第２の図である。

【図38C】測距システムが移動体の右側面に設置されており、自車が減速しながら直進している場合における加速度ベクトルの計算処理の例を示す第３の図である。

【図39A】測距システムが移動体の右側面に設置されており、自車が減速しながら右に方向転換する場合における加速度ベクトルの計算処理の例を示す第１の図である。

【図39B】測距システムが移動体の右側面に設置されており、自車が減速しながら右に方向転換する場合における加速度ベクトルの計算処理の例を示す第１の図である。

【図39C】測距システムが移動体の右側面に設置されており、自車が減速しながら右に方向転換する場合における加速度ベクトルの計算処理の例を示す第１の図である。

【図40A】測距システムが移動体の後方中央に設置されており、自車が加速しながら直進している場合における加速度ベクトルの計算処理の例を示す第１の図である。

【図40B】測距システムが移動体の後方中央に設置されており、自車が加速しながら直進している場合における加速度ベクトルの計算処理の例を示す第２の図である。

【図40C】測距システムが移動体の後方中央に設置されており、自車が加速しながら直進している場合における加速度ベクトルの計算処理の例を示す第３の図である。

【図41A】測距システムが移動体の後方中央に設置されており、自車が減速しながら直進している場合における加速度ベクトルの計算処理の例を示す第１の図である。

【図41B】測距システムが移動体の後方中央に設置されており、自車が減速しながら直進している場合における加速度ベクトルの計算処理の例を示す第２の図である。

【図41C】測距システムが移動体の後方中央に設置されており、自車が減速しながら直進している場合における加速度ベクトルの計算処理の例を示す第３の図である。

【図42A】測距システムが移動体の後方中央に設置されており、自車が減速しながら右に方向転換する場合における加速度ベクトルの計算処理の例を示す第１の図である。

【図42B】測距システムが移動体の後方中央に設置されており、自車が減速しながら右に方向転換する場合における加速度ベクトルの計算処理の例を示す第２の図である。

【図42C】測距システムが移動体の後方中央に設置されており、自車が減速しながら右に方向転換する場合における加速度ベクトルの計算処理の例を示す第３の図である。

【図43】変形例における測距装置の構成例を示すブロック図である。

【図44】測距装置における記憶装置が記憶するデータの一例を示す図である。

【図45】変形例における測距の動作を示すフローチャートである。

【発明を実施するための形態】

【0014】

本開示において、回路、ユニット、装置、部材もしくは部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。

【0015】

さらに、回路、ユニット、装置、部材または部の全部または一部の機能または動作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアがプロセッサによって実行されたときに、そのソフトウェアで特定された機能がプロセッサおよび周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、プロセッサ、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。

【0016】

従来の測距装置では、シーン中の広い範囲に点在する複数の物体までの距離を計測するために、例えばラスタースキャンによってシーン内をくまなく光ビームで照射する方法が用いられている。そのような方法では、物体が存在しない領域にも光ビームが照射され、かつ光ビームの出射順序があらかじめ決まっている。そのため、シーン内に例えば危険な物体または重要な物体が存在する場合であっても、その物体に優先的に光ビームを照射することができない。スキャンの光出射の順序に関わらず特定の方向に優先的に光ビームを照射するためには、例えば特許文献３に開示されているように、優先される方向についての測距を行う測距装置を追加する必要がある。

【0017】

本開示の実施形態は、測距装置を追加することなく、物体の距離情報を効率的に取得することを可能にする技術を提供する。以下、本開示の実施形態の概要を説明する。

【0018】

本開示の例示的な実施形態による制御方法は、光ビームの出射方向を変化させることが可能な発光装置と、前記光ビームの出射によって生じた反射光ビームを検出する受光装置と、を備える測距装置を制御する方法である。前記方法は、測距対象のシーンの画像を取得するイメージセンサによって異なる時刻に取得された複数の画像のデータを取得することと、前記複数の画像のデータに基づき、前記複数の画像に含まれる１つ以上の対象物の測距の優先度を決定することと、前記優先度に応じた方向に、前記優先度に応じた順序で、前記発光装置に前記光ビームを出射させ、前記受光装置に前記反射光ビームを検出させることにより、前記１つ以上の対象物の測距を実行することと、を含む。

【0019】

上記の方法によれば、前記複数の画像のデータに基づき、前記複数の画像に含まれる１つ以上の対象物の測距の優先度を決定し、前記優先度に応じた方向に、前記優先度に応じた順序で、前記発光装置に前記光ビームを出射させ、前記受光装置に前記反射光ビームを検出させることにより、前記１つ以上の対象物の測距を実行する。このような制御により、優先度の高い特定の対象物の測距を効率的に実行することができる。

【0020】

前記測距装置は、移動体に搭載されていてもよい。前記方法は、前記移動体から、前記移動体の動作を示すデータを取得することを含んでいてもよい。前記優先度は、前記複数の画像のデータと、前記移動体の動作を示すデータとに基づいて決定されてもよい。

【0021】

上記の方法によれば、移動体の動作状態に応じて対象物の優先度を決定することができる。移動体は、例えば自動車または二輪車などの車両であり得る。移動体の動作を示すデータは、例えば移動体の速度、加速度、または各加速度などの情報を含み得る。複数の画像のデータだけでなく、移動体の動作を示すデータも利用することにより、対象物の優先度をより適切に決定することができる。例えば、自車両の速度または加速度と、複数の画像から算出される対象物のモーションベクトルとに基づいて、その対象物の危険度を推定できる。危険度の高い対象物の優先度を高く設定するなどの柔軟な制御が可能である。

【0022】

前記優先度を決定することは、前記複数の画像に基づいて、前記１つ以上の対象物のモーションベクトルを生成することと、前記移動体の動作を示すデータに基づいて、前記移動体の動作に起因して生じる静止物体のモーションベクトルを生成することと、前記対象物のモーションベクトルと、前記静止物体のモーションベクトルとの差である相対速度ベクトルに基づいて、前記優先度を決定することと、を含んでいてもよい。

【0023】

上記の方法によれば、例えば相対速度ベクトルが大きいほど、その対象物の危険度が高く、優先度を高くすることができる。その結果、危険な対象物を重点的に効率よく測距することができる。

【0024】

前記方法は、前記測距を実行した後、前記対象物を特定する情報と、前記対象物までの距離を示す情報とを含むデータを、前記移動体に出力することをさらに含んでいてもよい。これにより、移動体は、例えば当該対象物を回避するなどの動作を行うことができる。

【0025】

前記優先度は、前記相対速度ベクトルの時間変化の大きさに基づいて決定されてもよい。相対速度ベクトルの時間変化は、その対象物の加速度を表す。加速度の高い対象物ほど危険で優先度が高いものとすることができる。前記優先度は、前記相対速度ベクトルの大きさに基づいて決定されてもよい。

【0026】

前記複数の画像のデータを取得することは、前記イメージセンサによって連続して取得された第１の画像、第２の画像、および第３の画像のデータを取得することを含んでいてもよい。前記優先度を決定することは、前記第１の画像と前記第２の画像とに基づいて、前記対象物の第１のモーションベクトルを生成することと、前記第２の画像と前記第３の画像とに基づいて、前記対象物の第２のモーションベクトルを生成することと、前記移動体の動作を示すデータに基づいて、前記移動体の動作に起因して生じる静止物体のモーションベクトルを生成することと、前記第１のモーションベクトルと、前記静止物体のモーションベクトルとの差である第１の相対速度ベクトルを生成することと、前記第２のモーションベクトルと、前記静止物体のモーションベクトルとの差である第２の相対速度ベクトルを生成することと、前記第１の相対速度ベクトルと前記第２の相対速度ベクトルとの差に基づいて、前記優先度を決定することと、を含んでいてもよい。このような動作により、モーションベクトルの時間変化に応じて優先度を適切に決定することができる。

【0027】

前記方法は、前記画像のデータの取得と、前記対象物の測距の優先度の決定と、前記対象物の測距の実行とを含むサイクルを複数回繰り返すことを含んでいてもよい。複数のサイクルは、一定の短い時間間隔（例えば、数マイクロ秒から数秒程度）で繰り返されてもよい。優先度の決定および測距を複数回繰り返すことにより、時間の経過とともに目まぐるしく変化する交通環境においても、危険度あるいは重要度の高い対象物の測距を適切に実行することができる。

【0028】

あるサイクルにおいて前記測距が実行された対象物については、次回のサイクルにおいて、前記優先度を決定することなく、前記測距が継続されてもよい。一般に、優先度が高いと判断された対象物は、次回以降のサイクルにおいても測距を継続することが好ましい。上記方法によれば、優先度の決定を省略して測距を継続することにより、当該物をトラッキングすることができる。

【0029】

前記方法は、前記優先度に応じて、前記光ビームの照射時間を決定することをさらに含んでいてもよい。例えば、優先度が高い対象物ほど長く光ビームを照射してもよい。測距方法として間接ＴｏＦ法が用いられる場合、光ビームの照射時間および受光装置の露光期間を長くするほど測距可能な距離の範囲を拡大できる。このため、優先度が高い対象物への光ビームの照射時間を長くすることで、当該対象物の測距可能なレンジを拡大することができる。

【0030】

前記方法は、前記優先度に応じて、前記光ビームの出射および前記反射光ビームの検出の反復回数を決定することをさらに含んでいてもよい。例えば、優先度が高い対象物ほど反復回数を増加させてもよい。反復回数を増加させることにより、測距の精度を高くすることができる。例えば、複数回の測距の結果を平均化するなどの処理により、測距の誤差を低減することができる。

【0031】

前記受光装置が前記イメージセンサを備えていてもよい。あるいは、前記イメージセンサは、前記受光装置とは独立した装置であってもよい。

【0032】

前記イメージセンサは、前記発光装置から出射された光によって前記画像を取得するように構成されていてもよい。その場合、前記発光装置は、前記光ビームとは別に、広範囲を照射するフラッシュ光を出射するように構成され得る。

【0033】

本開示の他の実施形態による制御装置は、前記光ビームの出射方向を変化させることが可能な発光装置と、前記光ビームの出射によって生じた反射光ビームを検出する受光装置と、を備える測距装置を制御する。前記制御装置は、プロセッサと、前記プロセッサによって実行されるコンピュータプログラムを格納した記憶媒体と、を備える。前記コンピュータプログラムは、前記プロセッサに、測距対象のシーンの画像を取得するイメージセンサによって異なる時刻に取得された複数の画像のデータを取得することと、前記複数の画像のデータに基づき、前記複数の画像に含まれる１つ以上の対象物の測距の優先度を決定することと、前記優先度に応じた方向に、前記優先度に応じた順序で、前記発光装置に前記光ビームを出射させ、前記受光装置に前記反射光ビームを検出させることにより、前記１つ以上の対象物の測距を実行することと、を実行させる。

【0034】

本開示のさらに他の実施形態によるシステムは、上記の制御装置と、前記発光装置と、前記制御装置と、を備える。

【0035】

本開示のさらに他の実施形態によるコンピュータプログラムは、光ビームの出射方向を変化させることが可能な発光装置と、前記光ビームの出射によって生じた反射光ビームを検出する受光装置と、を備える測距装置を制御するプロセッサによって実行される。前記コンピュータプログラムは、前記プロセッサに、測距対象のシーンの画像を取得するイメージセンサによって異なる時刻に取得された複数の画像のデータを取得することと、前記複数の画像のデータに基づき、前記複数の画像に含まれる１つ以上の対象物の測距の優先度を決定することと、前記優先度に応じた方向に、前記優先度に応じた順序で、前記発光装置に前記光ビームを出射させ、前記受光装置に前記反射光ビームを検出させることにより、前記１つ以上の対象物の測距を実行することと、を実行させる。

【0036】

以下、本開示の例示的な実施形態を説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略または簡略化される場合がある。

【0037】

（実施形態１）
本開示の例示的な実施形態１に係る測距システムの構成および動作を説明する。

【0038】

［１－１．構成］
図１は、本開示の例示的な実施形態１における測距システム１０を模式的に示す図である。この測距システム１０は、例えば自動運転車などの移動体に搭載され得る。移動体は、例えばエンジン、ステアリング、ブレーキ、およびアクセル等の機構を制御する制御装置４００を備える。測距システム１０は、移動体の制御装置４００から、移動体の動作および動作計画の情報を取得し、制御装置４００に、生成した周辺環境に関する情報を出力する。

【0039】

この測距システム１０は、撮像装置１００と、測距装置２００と、処理装置３００とを備える。撮像装置１００は、シーンを撮像することによって２次元画像を取得する。測距装置２００は、光を出射し、出射した光が対象物で反射することによって生じた反射光を検出することで対象物までの距離を計測する。処理装置３００は、撮像装置１００が取得した画像情報と、測距装置２００が取得した距離情報と、移動体の制御装置４００から送られる動作情報および動作計画情報とを取得する。処理装置３００は、取得したそれらの情報に基づいて、周辺環境に関する情報を生成して制御装置４００に出力する。以下の説明において、周辺環境に関する情報を「周辺情報」と称する。

【0040】

［１－１－１．撮像装置］
撮像装置１００は、光学系１１０と、イメージセンサ１２０とを備える。光学系１１０は、１つ以上のレンズを含み、イメージセンサ１２０の受光面に像を形成する。イメージセンサ１２０は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）またはＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などのセンサであり、２次元画像のデータを生成して出力する。

【0041】

撮像装置１００は、測距装置２００と同じ方向のシーンの輝度画像を取得する。輝度画像はカラー画像であっても白黒画像であってもよい。撮像装置１００は、外光を利用してシーンを撮影してもよいし、光源を使用してシーンに光を照射して撮影してもよい。光源から出射される光は拡散光であってもよいし、光ビームを順次照射してシーン全体を撮影してもよい。撮像装置１００は、可視光カメラに限らず、赤外線カメラであってもよい。

【0042】

撮像装置１００は、処理装置３００からの指示に従い、連続的に撮像を行い、動画像のデータを生成する。

【0043】

［１－１－２．測距装置］
測距装置２００は、発光装置２１０と、受光装置２２０と、制御回路２３０と、処理回路２４０とを備える。発光装置２１０は、所定の範囲内の任意の方向に光ビームを出射することができる。受光装置２２０は、発光装置２１０が出射した光ビームがシーン内の対象物によって反射されることで生じる反射光ビームを受光する。受光装置２２０は、反射光ビームを検出するイメージセンサまたは１つ以上のフォトディテクタを備える。制御回路２３０は、発光装置２１０から出射される光ビームの出射タイミングおよび出射方向、ならびに受光装置２２０の露光タイミングを制御する。処理回路２４０は、受光装置２２０から出力された信号に基づいて、光ビームが照射された物体までの距離を計算する。光ビームの出射から受光までの時間を計測または計算することで、距離を計測することができる。なお、制御回路２３０および処理回路２４０は、統合された１つの回路によって実現されていてもよい。

【0044】

発光装置２１０は、制御回路２３０の制御に応じて光ビームの出射方向を変化させることが可能なビームスキャナである。発光装置２１０は、測距対象のシーン内の一部の領域を光ビームで順次照射することができる。発光装置２１０から出射される光ビームの波長は特に限定されず、例えば可視域から赤外域に含まれる任意の波長でよい。

【0045】

図２は、発光装置２１０の一例を示す図である。この例では、発光装置２１０は、レーザなどの光ビームを発する光源と、少なくとも１つの可動ミラー、例えばＭＥＭＳミラーとを備える。光源から出射された光は、可動ミラーによって反射され、対象領域内（図２において矩形で表示）の所定の領域に向かう。制御回路２３０は、可動ミラーを駆動することにより、発光装置２１０からの出射光の方向を変化させる。これにより、例えば図２において点線矢印で示すように、対象領域を光でスキャンすることができる。

【0046】

可動ミラーを有する発光装置とは異なる構造によって光の出射方向を変化させることが可能な光源を用いてもよい。例えば、特許文献１に開示されているような、反射型導波路を利用した発光デバイスを用いてもよい。あるいは、アンテナアレイによって各アンテナから出力される光の位相を調節することで、アレイ全体の光の方向を変化させる発光デバイスを用いてもよい。

【0047】

図３は、発光装置２１０の他の例を模式的に示す斜視図である。参考のために、互いに直交するＸ軸、Ｙ軸、およびＺ軸が模式的に示されている。この発光装置２１０は、光導波路アレイ８０Ａと、位相シフタアレイ２０Ａと、光分岐器３０と、それらが集積された基板４０とを備える。光導波路アレイ８０Ａは、Ｙ方向に配列された複数の光導波路素子８０を含む。各光導波路素子８０はＸ方向に延びている。位相シフタアレイ２０ＡはＹ方向に配列された複数の位相シフタ２０を含む。各位相シフタ２０はＸ方向に延びた光導波路を備える。光導波路アレイ８０Ａにおける複数の光導波路素子８０は、位相シフタアレイ２０Ａにおける複数の位相シフタ２０にそれぞれ接続されている。位相シフタアレイ２０Ａには光分岐器３０が接続されている。

【0048】

レーザ素子などの光源から発せられた光Ｌ０は、光分岐器３０を介して位相シフタアレイ２０Ａにおける複数の位相シフタ２０に入力される。位相シフタアレイ２０Ａにおける複数の位相シフタ２０を通過した光は、位相がＹ方向に一定量ずつシフトした状態で、光導波路アレイ８０Ａにおける複数の光導波路素子８０にそれぞれ入力される。光導波路アレイ８０Ａにおける複数の光導波路素子８０にそれぞれ入力された光は、光ビームＬ２として、ＸＹ平面に平行な光出射面８０ｓから、光出射面８０ｓに交差する方向に出射される。

【0049】

図４は、光導波路素子８０の構造の例を模式的に示す図である。光導波路素子８０は、互いに対向する第１ミラー１１および第２ミラー１２と、第１ミラー１１と第２ミラー１２との間に位置する光導波層１５と、光導波層１５に駆動電圧を印加するための一対の電極１３および１４とを含む。光導波層１５は、例えば液晶材料または電気光学材料などの、電圧の印加によって屈折率が変化する材料によって構成され得る。第１ミラー１１の透過率は、第２ミラー１２の透過率よりも高い。第１ミラー１１および第２ミラー１２の各々は、例えば、複数の高屈折率層および複数の低屈折率層が交互に積層された多層反射膜から形成され得る。

【0050】

光導波層１５に入力された光は、光導波層１５内を第１ミラー１１および第２ミラー１２によって反射されながらＸ方向に沿って伝搬する。図４における矢印は、光が伝搬する様子を模式的に表している。光導波層１５内を伝搬する光の一部は、第１ミラー１１から外部に出射される。

【0051】

電極１３および１４に駆動電圧を印加することにより、光導波層１５の屈折率が変化し、光導波路素子８０から外部に出射される光の方向が変化する。駆動電圧の変化に応じて、光導波路アレイ８０Ａから出射される光ビームＬ２の方向が変化する。具体的には、図３に示す光ビームＬ２の出射方向を、Ｘ軸に平行な第１の方向Ｄ１に沿って変化させることができる。

【0052】

図５は、位相シフタ２０の例を模式的に示す図である。位相シフタ２０は、例えば熱によって屈折率が変化する熱光学材料を含む全反射導波路２１と、全反射導波路２１に熱的に接触するヒータ２２と、ヒータ２２に駆動電圧を印加するための一対の電極２３および２４とを含む。全反射導波路２１の屈折率は、ヒータ２２、基板４０、および空気の屈折率よりも高い。屈折率差により、全反射導波路２１に入力された光は、全反射導波路２１内を全反射されながらＸ方向に沿って伝搬する。

【0053】

一対の電極２３および２４に駆動電圧を印加することにより、全反射導波路２１がヒータ２２によって加熱される。その結果、全反射導波路２１の屈折率が変化し、全反射導波路２１の端から出力される光の位相がシフトする。図５に示す複数の位相シフタ２０における隣り合う２つの位相シフタ２０から出力される光の位相差を変化させることにより、光ビームＬ２の出射方向を、Ｙ軸に平行な第２の方向Ｄ２に沿って変化させることができる。

【0054】

以上の構成により、発光装置２１０は、光ビームＬ２の出射方向を２次元的に変化させることができる。このような発光装置２１０の動作原理、および動作方法などの詳細は、例えば特許文献１に開示されている。特許文献１の開示内容の全体を本明細書に援用する。

【0055】

次に、受光装置２２０が備えるイメージセンサの構成例を説明する。イメージセンサは、受光面に沿って２次元的に配列された複数の受光素子を備える。イメージセンサの受光面に対向して、光学部品が設けられ得る。光学部品は、例えば少なくとも１つのレンズを含み得る。光学部品は、プリズムまたはミラー等の他の光学素子を含んでいてもよい。光学部品は、シーン中の物体の１点から拡散した光がイメージセンサの受光面上の１点に集束するように設計され得る。

【0056】

イメージセンサは、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、または赤外線アレイセンサであり得る。各受光素子は、例えばフォトダイオードなどの光電変換素子と、１つ以上の電荷蓄積部とを含む。光電変換によって生じた電荷が、露光期間の間、電荷蓄積部に蓄積される。電荷蓄積部に蓄積された電荷は、露光期間終了後、出力される。このようにして、各受光素子は、露光期間の間に受けた光の量に応じた電気信号を出力する。この電気信号を「検出信号」と称することがある。イメージセンサは、モノクロタイプの撮像素子であってもよいし、カラータイプの撮像素子であってもよい。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプの撮像素子を用いてもよい。イメージセンサは、可視の波長範囲に限らず、例えば紫外、近赤外、中赤外、遠赤外などの波長範囲に検出感度を有していてもよい。イメージセンサは、ＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）を利用したセンサであってもよい。イメージセンサは、全画素の露光を一括で行なう電子シャッタ方式、すなわちグローバルシャッタの機構を備え得る。電子シャッタの方式は、行毎に露光を行うローリングシャッタ方式、または光ビームの照射範囲に合わせた一部のエリアのみ露光を行うエリアシャッタ方式であってもよい。

【0057】

イメージセンサは、発光装置２１０からの光の出射タイミングを基準として、開始および終了のタイミングの異なる複数の露光期間のそれぞれにおいて、反射光を受光し、受光量を示す信号を露光期間ごとに出力する。

【0058】

制御回路２３０は、発光装置２１０による光の出射方向と出射タイミングとを決定し、発光を指示する制御信号を発光装置２１０に出力する。さらに、制御回路２３０は、受光装置２２０の露光のタイミングを決定し、露光および信号の出力を指示する制御信号を受光装置２２０に出力する。

【0059】

処理回路２４０は、受光装置２２０から出力された複数の異なる露光期間に蓄積された電荷を示す信号を取得し、それらの信号に基づき、対象物までの距離を計算する。処理回路２４０は、複数の露光期間にそれぞれ蓄積された電荷の比に基づき、発光装置２１０から光ビームが出射されてから反射光ビームが受光装置２２０によって受光されるまでの時間を計算し、当該時間から距離を計算する。このような測距の方式を間接ＴｏＦ方式という。

【0060】

図６は、間接ＴｏＦ方式における投光タイミング、反射光の到達タイミング、および２回の露光タイミングの例を示す図である。横軸は時間を示している。矩形部分は、投光、反射光の到達、および２回の露光のそれぞれの期間を表している。この例では、簡単のため、１つの光ビームが出射され、その光ビームによって生じた反射光を受ける受光素子が連続で２回露光する場合の例を説明する。図６の（ａ）は、光源から光が出射するタイミングを示している。Ｔ０は測距用の光ビームのパルス幅である。図６の（ｂ）は、光源から出射して物体で反射された光ビームがイメージセンサに到達する期間を示している。Ｔｄは光ビームの飛行時間である。図６の例では、光パルスの時間幅Ｔ０よりも短い時間Ｔｄで反射光がイメージセンサに到達している。図６の（ｃ）は、イメージセンサの第１の露光期間を示している。この例では、投光の開始と同時に露光が開始され、投光の終了と同時に露光が終了している。第１の露光期間では、反射光のうち、早期に戻ってきた光が光電変換され、生じた電荷が蓄積される。Ｑ１は、第１の露光期間の間に光電変換された光のエネルギーを表す。このエネルギーＱ１は、第１の露光期間の間に蓄積された電荷の量に比例する。図６の（ｄ）は、イメージセンサの第２の露光期間を示している。この例では、第２の露光期間は、投光の終了と同時に開始し、光ビームのパルス幅Ｔ０と同一の時間、すなわち第１の露光期間と同一の時間が経過した時点で終了する。Ｑ２は、第２の露光期間の間に光電変換された光のエネルギーを表す。このエネルギーＱ２は、第２の露光期間の間に蓄積された電荷の量に比例する。第２の露光期間では、反射光のうち、第１の露光期間が終了した後に到達した光が受光される。第１の露光期間の長さが光ビームのパルス幅Ｔ０に等しいことから、第２の露光期間で受光される反射光の時間幅は、飛行時間Ｔｄに等しい。

【0061】

ここで、第１の露光期間の間に受光素子に蓄積される電荷の積分容量をＣｆｄ１、第２の露光期間の間に受光素子に蓄積される電荷の積分容量をＣｆｄ２、光電流をＩｐｈ、電荷転送クロック数をＮとする。第１の露光期間における受光素子の出力電圧は、以下のＶｏｕｔ１で表される。
Ｖｏｕｔ１＝Ｑ１／Ｃｆｄ１＝Ｎ×Ｉｐｈ×（Ｔ０－Ｔｄ）／Ｃｆｄ１

【0062】

第２の露光期間における受光素子の出力電圧は、以下のＶｏｕｔ２で表される。
Ｖｏｕｔ２＝Ｑ２／Ｃｆｄ２＝Ｎ×Ｉｐｈ×Ｔｄ／Ｃｆｄ２

【0063】

図６の例では、第１の露光期間の時間長と第２の露光期間の時間長とが等しいため、Ｃｆｄ１＝Ｃｆｄ２である。従って、Ｔｄは以下の式で表すことができる。
Ｔｄ＝｛Ｖｏｕｔ２／（Ｖｏｕｔ１＋Ｖｏｕｔ２）｝×Ｔ０

【0064】

光速をＣ（≒３×１０^８ｍ／ｓ）とすると、装置と物体との距離Ｌは、以下の式で表される。
Ｌ＝１／２×Ｃ×Ｔｄ＝１／２×Ｃ×｛Ｖｏｕｔ２／（Ｖｏｕｔ１＋Ｖｏｕｔ２）｝×Ｔ０

【0065】

イメージセンサは、実際には露光期間に蓄積した電荷を出力するため、時間的に連続して２回の露光を行うことができない場合がある。その場合には、例えば図７に示す方法が用いられ得る。

【0066】

図７は、連続で２つの露光期間を設けることができない場合の投光と露光、および電荷出力のタイミングを模式的に示す図である。図７の例では、まず、光源が投光を開始すると同時にイメージセンサは露光を開始し、光源が投光を終了すると同時にイメージセンサは露光を終了する。この露光期間は、図６における露光期間１に相当する。イメージセンサは、露光直後にこの露光期間で蓄積された電荷を出力する。この電荷量は、受光された光のエネルギーＱ１に相当する。次に、光源は再度投光を開始し、１回目と同一の時間Ｔ０が経過すると投光を終了する。イメージセンサは、光源が投光を終了すると同時に露光を開始し、第１の露光期間と同一の時間長が経過すると露光を終了する。この露光期間は、図６における露光期間２に相当する。イメージセンサは、露光直後にこの露光期間で蓄積された電荷を出力する。この電荷量は、受光された光のエネルギーＱ２に相当する。

【0067】

このように、図７の例では、上記の距離計算のための信号を取得するために、光源は投光を２回行い、イメージセンサはそれぞれの投光に対して異なるタイミングで露光する。このようにすることで、２つの露光期間を時間的に連続して設けることができない場合でも、露光期間ごとに電圧を取得できる。このように、露光期間ごとに電荷の出力を行うイメージセンサでは、予め設定された複数の露光期間の各々で蓄積される電荷の情報を得るために、同一条件の光を、設定された露光期間の数と等しい回数だけ投光することになる。

【0068】

なお、実際の測距では、イメージセンサは、光源から出射されて物体で反射された光のみではなく、バックグラウンド光、すなわち太陽光または周辺の照明等の外部からの光を受光し得る。そこで、一般には、光ビームが出射されていない状態でイメージセンサに入射するバックグラウンド光による蓄積電荷を計測するための露光期間が設けられる。バックグランド用の露光期間で計測された電荷量を、光ビームの反射光を受光したときに計測される電荷量から減算することで、光ビームの反射光のみを受光した場合の電荷量を求めることができる。本実施形態では、簡便のため、バックグランド光についての動作の説明を省略する。

【0069】

この例では、間接ＴｏＦによる測距を行うが、直接ＴｏＦによる測距を行ってもよい。直接ＴｏＦによる測距を行う場合、受光装置２２０は、タイマーカウンタを伴う受光素子を受光面に沿って２次元的に配置したセンサを備える。タイマーカウンタは、露光開始とともに計時を開始し、受光素子が反射光を受光した時点で計時を終了する。このようにして、タイマーカウンタは、受光素子ごとに計時を行い、光の飛行時間を直接計測する。処理回路２４０は、計測された光の飛行時間から、距離を計算する。

【0070】

本実施形態では、撮像装置１００と測距装置２００は、それぞれ分離した装置であるが、撮像装置１００と測距装置２００の機能を１つの装置に統合してもよい。例えば、撮像装置１００が取得する輝度画像を、測距装置２００の受光装置２２０を用いて取得してもよい。受光装置２２０は、発光装置２１０から光を出射することなく、輝度画像を取得してもよいし、発光装置２１０から出射された光による輝度画像を取得してもよい。発光装置２１０が光ビームを出射する場合、複数の光ビームによって順次得られるシーン中の一部の輝度画像を記憶し、結合することで、シーン全体の輝度画像を生成してもよい。あるいは、光ビームを順次出射する期間露光し続けることで、シーン全体の輝度画像を生成してもよい。発光装置２１０が光ビームとは別に広い範囲に拡散する光を出射することによって受光装置２２０が輝度画像を取得してもよい。

【0071】

［１－１－３．処理装置］
処理装置３００は、撮像装置１００、測距装置２００、および制御装置４００に接続されたコンピュータである。処理装置３００は、第１記憶装置３２０と、第２記憶装置３３０と、第３記憶装置３５０と、画像処理モジュール３１０と、危険度計算モジュール３４０と、自車動作処理モジュール３６０と、周辺情報生成モジュール３７０とを備える。画像処理モジュール３１０、危険度計算モジュール３４０、自車動作処理モジュール３６０、および周辺情報生成モジュール３７０は、１つ以上のプロセッサによって実現され得る。処理装置３００におけるプロセッサが、記憶媒体に格納されたコンピュータプログラムを実行することにより、画像処理モジュール３１０、危険度計算モジュール３４０、自車動作処理モジュール３６０、および周辺情報生成モジュール３７０として機能してもよい。

【0072】

画像処理モジュール３１０は、撮像装置１００が出力する画像を処理する。第１記憶装置３２０は、撮像装置１００が取得した画像等のデータと、処理装置３００によって生成された処理結果とを対応付けて記憶する。処理結果には、例えばシーン中の物体の危険度等の情報が含まれる。第２記憶装置３３０は、危険度計算モジュール３４０が実行する処理に用いられる、あらかじめ定められた変換テーブルまたは関数を記憶する。危険度計算モジュール３４０は、第２記憶装置３３０に格納された変換テーブルまたは関数を参照して、シーン中の物体の危険度を計算する。危険度計算モジュール３４０は、物体の相対速度ベクトルと加速度ベクトルとに基づいて、当該物体の危険度を計算する。自車動作処理モジュール３６０は、第１記憶装置３２０に記録された画像処理結果および危険度計算結果と、移動体から取得した動作情報および動作計画情報とに基づき、第３記憶装置３５０に記録されたデータを参照して、当該移動体の動作および処理に関する情報を生成する。周辺情報生成モジュール３７０は、第１記憶装置３２０に記録された画像処理結果と、危険度計算結果と、移動体の動作および処理に関する情報とに基づいて、周辺情報を生成する。

【0073】

画像処理モジュール３１０は、前処理モジュール３１１と、相対速度ベクトルモジュール３１２と、認識処理モジュール３１３とを含む。前処理モジュール３１１は、撮像装置１００によって生成された画像データについて、初期の信号処理を行う。相対速度ベクトルモジュール３１２は、撮像装置１００によって取得された画像に基づき、シーン内の対象物のモーションベクトルを計算する。相対速度ベクトルモジュール３１２は、さらに計算したモーションベクトルと自車動作による見かけのモーションベクトルとから、対象物の相対速度ベクトルを生成する。認識処理モジュール３１３は、前処理モジュール３１１によって処理された画像から、１つ以上の対象物を認識する。

【0074】

図１に示す例では、第１記憶装置３２０、第２記憶装置３３０、および第３記憶装置３５０は、それぞれ分離した３つの記憶装置として表現されている。しかし、これらの記憶装置３２０、３３０、および３５０は、単一の記憶装置によって実現されていてもよいし、２つまたは４つ以上の記憶装置によって実現されていてもよい。また、この例では、処理回路２４０と処理装置３００とが分離されているが、これらが１つの装置または回路によって実現されていてもよい。さらに、処理回路２４０および処理装置３００の各々は、移動体の構成要素であってもよい。処理回路２４０および処理装置３００の各々は、複数の回路の集合によって実現されていてもよい。

【0075】

以下、処理装置３００の構成をより詳細に説明する。

【0076】

前処理モジュール３１１は、撮像装置１００によって生成された一連の画像データについて、ノイズ低減、エッジ抽出、および信号強調等の信号処理を行う。これらの信号処理を前処理と称する。

【0077】

相対速度ベクトルモジュール３１２は、前処理が行われた一連の画像に基づいて、シーン内の１つ以上の対象物のそれぞれのモーションベクトルを計算する。相対速度ベクトルモジュール３１２は、一定時間内で異なる時刻に取得された複数の画像、すなわち動画像における異なるタイミングの複数のフレームの画像に基づいて、シーン内の対象物ごとにモーションベクトルを計算する。また、相対速度ベクトルモジュール３１２は、自車動作処理モジュール３６０によって生成された、移動体による動作ベクトルを生成する。移動体による動作ベクトルは、当該移動体の動作に起因して生じる、静止物体の見かけ上の動作ベクトルである。相対速度ベクトルモジュール３１２は、シーン内の対象物ごとに計算したモーションベクトルと、自車の動作による見かけ上の動作ベクトルとの差分から、相対速度ベクトルを生成する。相対速度ベクトルは、例えば各対象物のエッジの屈曲点などの特徴点のそれぞれについて生成され得る。

【0078】

認識処理モジュール３１３は、前処理モジュール３１１によって処理された各フレームの画像から、１つ以上の対象物を認識する。この認識処理は、例えば画像から、シーン内の車両、人、または自転車等の可動物体または静止物体を抽出し、その画像の領域を矩形の領域として出力する処理を含み得る。認識の方法には、機械学習またはパターンマッチング等の任意の方法が用いられ得る。認識処理のアルゴリズムは、特定のものに限定されず、任意のアルゴリズムを採用することができる。例えば機械学習による対象物の学習および認識が行われる場合、あらかじめ訓練された学習済みモデルが記憶媒体に格納される。入力された各フレームの画像データに当該学習済みモデルを適用することにより、車両、人、または自転車等の対象物を抽出することができる。

【0079】

記憶装置３２０は、撮像装置１００、測距装置２００、および処理装置３００が生成する種々のデータを記憶する。記憶装置３２０は、例えば、以下のデータを記憶する。
・撮像装置１００によって生成された画像データ
・画像処理モジュール３１０によって生成された前処理済みの画像データ、相対速度ベクトルのデータ、対象物の認識結果を示すデータ、
・危険度計算モジュール３４０によって計算された対象物ごとの危険度を示すデータ
・測距装置２００によって生成された対象物ごとの距離データ

【0080】

図８Ａから図８Ｄは、記憶装置３２０に記録されるデータの例を模式的に示す図である。この例では、撮像装置１００によって取得された動画像のフレームと、処理装置３００によって生成された画像中の認識された対象物の領域を示すクラスタとを基準にデータベースが構成される。図８Ａは、撮像装置１００によって生成された動画像における複数のフレームを示している。図８Ｂは、前処理モジュール３１１が複数のフレームに前処理を行うことによって生成した複数のエッジ画像を示している。図８Ｃは、各フレームの番号、撮像装置１００によって生成された画像データの番号、前処理モジュール３１１によって生成されたエッジ画像の番号、および画像中の対象物の領域を表すクラスタの数を記録するテーブルを示している。図８Ｄは、各フレームの番号、各クラスタを識別する番号、各クラスタに含まれる特徴点（例えば、エッジの屈曲点等）の座標、特徴点ごとの相対速度ベクトルの始点座標と終点座標、クラスタごとに計算された危険度、クラスタごとに計算された距離、および認識された対象物のＩＤとを記録するテーブルを示している。

【0081】

記憶装置３３０は、あらかじめ定められた、危険度計算のための対応表または関数と、そのパラメータとを記憶する。図９Ａから図９Ｄは、記憶装置３３０に記録されるデータの例を示す図である。図９Ａは、予測相対位置と危険度との対応表を示している。図９Ｂは、加速時および減速時の直進加速度と危険度との対応表を示している。図９Ｃは、右折時の加速度と危険度との対応表を示している。図９Ｄは、左折時の加速度と危険度との対応表を示している。危険度計算モジュール３４０は、記憶装置３３０に記録された、位置と危険度との対応関係、および加速度と危険度との対応情報を参照して、シーン内の各対象物の予測相対位置および加速度から、危険度を計算する。なお、記憶装置３３０は、対応表の形式に限らず、関数の形式で、位置と危険度との対応関係、および加速度と危険度との対応関係を記憶してもよい。

【0082】

危険度計算モジュール３４０は、相対速度ベクトルモジュール３１２が計算した、エッジの特徴点ごとの相対速度ベクトルに従って、エッジの特徴点を含む対象物の予測相対位置を推定する。予測相対位置は、当該対象物が、あらかじめ定められた一定時間後に存在する位置である。あらかじめ定められた時間は、例えば、フレーム間隔に等しい時間に設定され得る。危険度計算モジュール３４０は、計算された予測相対位置に対応する危険度を、記憶装置３３０に記録された予測相対位置と危険度との対応表、および相対速度ベクトルの大きさに基づいて決定する。一方、危険度計算モジュール３４０は、自車動作処理モジュール３６０が生成した自車の動作計画に基づいて、自車動作の加速度ベクトルを計算する。加速度ベクトルの絶対値が、あらかじめ定められた大きさよりも大きい場合に、危険度計算モジュール３４０は、自車の方向転換および加減速による危険度を計算する。危険度計算モジュール３４０は、加速度ベクトルの直交成分と直進成分とを求める。直交成分の絶対値が所定の閾値よりも大きい場合には、図９Ｃまたは図９Ｄに示す対応表を参照して、相対速度ベクトルの加速度が転換する方向の成分についての危険度を抽出し、予測相対位置に応じて決定された危険度と合算する。一方、加速度ベクトルの直進成分の絶対値が所定の閾値よりも大きい場合には、図９Ｂに示す対応表を参照して、相対速度ベクトルの自車向き成分の値についての危険度を抽出し、予測相対位置に応じて決定された危険度と合算する。

【0083】

記憶装置３５０は、画像中の対象物の位置と見かけのモーションベクトルの大きさとの関係を示す対応表を記憶する。図１０は、記憶装置３５０に記録される対応表の例を示している。図１０の例では、記憶装置３５０は、撮像装置１００が取得する画像中の、一点透視図の消失点に当たる点の座標、および当該座標から対象物の座標までの距離とモーションベクトルの大きさとの対応表を記憶する。この例では、消失点からの距離とモーションベクトルの大きさとの関係が、表の形式で記録されているが、関係式として記録されていてもよい。

【0084】

自車動作処理モジュール３６０は、測距システム１０を搭載する移動体の制御装置４００から、前フレームｆ０から現フレームｆ１の間に行われた当該移動体の動作情報と、動作計画情報とを取得する。動作情報は、当該移動体の速度または加速度の情報を含む。動作計画情報は、当該移動体の今後の動作を示す情報、例えば直進、右折、左折、加速、減速などの情報を含む。自車動作処理モジュール３６０は、記憶装置３５０に記録されたデータを参照して、取得した動作情報から、当該移動体の動作によって生じる見かけのモーションベクトルを生成する。また、自車動作処理モジュール３６０は、取得した動作計画情報から、次のフレームｆ２における自車の加速度ベクトルを生成する。自車動作処理モジュール３６０は、生成した見かけのモーションベクトルおよび自車の加速度ベクトルを、危険度計算モジュール３４０に出力する。

【0085】

制御装置４００は、自車に搭載された自動運転システム、ナビゲーションシステム、および種々の他の車載センサから、動作情報および動作計画情報を取得する。他の車載センサは、舵角センサ、速度センサ、加速度センサ、ＧＰＳ、ドライバモニタリングセンサを含み得る。動作計画情報は、例えば、自動運転システムが決定する自車の次の動作を示す情報である。動作計画情報の他の例は、ナビゲーションシステムから取得され走行予定経路と他の車載センサからの情報とを基に予測された自車の次の動作を示す情報である。

【0086】

［１－２．動作］
次に、測距システム１０の動作をより詳細に説明する。

【0087】

図１１は、本実施形態における測距システム１０の動作の概要を示すフローチャートである。測距システム１０は、図１１に示すステップＳ１１００からＳ１９００の動作を実行する。以下、各ステップの動作を説明する。

【0088】

＜ステップＳ１１００＞
処理装置３００は、入力手段、例えば図１に示す制御装置４００または不図示の入力装置から終了信号が入力されているか否かを判断する。終了信号が入力されている場合、処理装置３００は動作を終了する。終了信号が入力されていない場合、ステップＳ１２００に進む。

【0089】

＜ステップＳ１２００＞
処理装置３００は、撮像装置１００に、シーンの２次元画像の撮影を指示する。撮像装置１００は、２次元画像のデータを生成し、処理装置３００における記憶装置３２０に出力する。記憶装置３２０は、図８Ｃに示すように、取得した２次元画像のデータをフレーム番号と対応付けて記憶する。

【0090】

＜ステップＳ１３００＞
処理装置３００の前処理モジュール３１１は、ステップＳ１２００において撮像装置１００によって取得され、記憶装置３２０に記録された２次元画像の前処理を行う。前処理は、例えば、フィルタによるノイズ低減処理、エッジ抽出処理、およびエッジ強調処理を含む。前処理は、これ以外の処理であってもよい。前処理モジュール３１１は、前処理の結果を記憶装置３２０に記憶する。図８Ｂおよび図８Ｃに示す例では、前処理モジュール３１１は、前処理によってエッジ画像を生成する。記憶装置３２０は、エッジ画像をフレーム番号と対応付けて記憶する。前処理モジュール３１１はまた、エッジ画像中のエッジから１つ以上の特徴点を抽出し、フレーム番号と対応付けて記憶する。特徴点は、例えば、エッジ画像中のエッジにおける屈曲点であり得る。

【0091】

＜ステップＳ１４００＞
処理装置３００の相対速度ベクトルモジュール３１２は、ステップＳ１３００で処理された、直近のフレームｆ１の２次元画像と、その直前のフレームｆ０の２次元画像とを用いて相対速度ベクトルを生成する。相対速度ベクトルモジュール３１２は、記憶装置３２０に記録された、直近のフレームｆ１の画像中で設定された特徴点と、直前のフレームｆ０の画像中で設定された特徴点とのマッチングを行う。マッチングされた特徴点について、フレームｆ０の特徴点の位置からフレームｆ１の特徴点の位置までを結ぶベクトルをモーションベクトルとして抽出する。相対速度ベクトルモジュール３１２は、そのモーションベクトルから、自車動作処理モジュール３６０によって計算された、自車動作によるベクトルを減じて、相対速度ベクトルを計算する。計算された相対速度ベクトルは、当該相対速度ベクトルの計算に用いたフレームｆ１の特徴点と対応させて、ベクトルの始点と終点の座標を記述する形式で記憶装置３２０に記憶する。相対速度ベクトルの計算方法の詳細については後述する。

【0092】

＜ステップＳ１４５０＞
相対速度ベクトルモジュール３１２は、ステップＳ１４００で計算した複数の相対速度ベクトルを、ベクトルの方向と大きさに基づき、クラスタリングする。例えば、相対速度ベクトルモジュール３１２は、ベクトルの始点と終点との間のｘ軸方向における差分とｙ軸方向における差分とに基づいてクラスタリングを行う。相対速度ベクトルモジュール３１２は、抽出されたクラスタに番号を付与し、現フレームｆ１に対応付ける。抽出されたクラスタは、図８Ｄに示すように、当該クラスタの相対速度ベクトルと対応付けられる形式で、記憶装置３２０に記録される。各クラスタは、１つの対象物に対応する。

【0093】

＜ステップＳ１５００＞
処理装置３００の危険度計算モジュール３４０は、記憶装置３２０に記録された相対速度ベクトルに基づいて、次フレームｆ２での予測相対位置を計算する。危険度計算モジュール３４０は、同一クラスタ内で、予測相対位置が自車の位置に最も近い相対速度ベクトルを用いて危険度を計算する。危険度計算モジュール３４０は、予測相対位置に従って、記憶装置３３０を参照して、危険度を計算する。一方、危険度計算モジュール３４０は、移動体の制御装置４００から入力された自車の動作計画に基づき、加速度ベクトルを生成し、当該加速度ベクトルに従って危険度を計算する。危険度計算モジュール３４０は、予測相対位置に基づいて計算された危険度と、加速度ベクトルに基づいて計算された危険度とを統合し、当該クラスタの総合的な危険度を計算する。記憶装置３２０は、図８Ｄに示すように、当該危険度を、クラスタごとに記憶する。危険度の計算方法の詳細については後述する。

【0094】

＜ステップＳ１６００＞
測距装置２００の制御回路２３０は、記憶装置３２０を参照し、クラスタごとの危険度に従って、測距対象の有無を判断する。例えば、危険度が閾値よりも高いクラスタがある場合、測距対象があると判断する。測距対象がない場合、ステップＳ１１００に戻る。測距対象が１つ以上ある場合、ステップＳ１６５０に進む。現フレームｆ１に対応付けられたクラスタについて、危険度の高い相対速度ベクトルを持つクラスタすなわち対象物の測距が優先的に行われる。処理装置３００は、例えば、測距対象の各クラスタの相対速度ベクトルから予測される次のフレームでの位置の範囲を測距対象とする。測距対象として、例えば、危険度の高い順に一定数のクラスタを決定してもよい。あるいは、受光装置２２０の撮像範囲としての２次元空間に対する、クラスタの予測位置が占める範囲の合計の割合が一定の値を超えるまで、危険度の高い順に複数のクラスタを決定してもよい。

【0095】

＜ステップＳ１６５０＞
制御回路２３０は、測距対象のクラスタのすべてについて測距が終了したか否かを判断する。測距対象のクラスタのうち、まだ測距が終了していないクラスタがある場合、ステップＳ１７００に進む。測距対象のクラスタのすべてについて測距が終了した場合、ステップＳ１８００に進む。

【0096】

＜ステップＳ１７００＞
制御回路２３０は、ステップＳ１６００で測距対象として決定されたクラスタのうち、まだ測距が行われていないクラスタの１つについて、測距を実行する。例えば、測距対象として決定され、まだ測距されていないクラスタの中で、最も危険度の高いクラスタすなわち対象物が測距対象として決定され得る。制御回路２３０は、当該クラスタに対応する範囲が照射されるように光ビームの出射方向を設定する。例えば、当該クラスタにおける特徴点に対応する予測相対位置に向かう方向が光ビームの出射方向として設定され得る。制御回路２３０は、発光装置２１０からの光ビームの出射タイミングと受光装置２２０の露光タイミングとを設定し、それぞれの制御信号を発光装置２１０および受光装置２２０に出力する。発光装置２１０は、制御信号を受けると、制御信号が示す方向に光ビームを出射する。受光装置２２０は、制御信号を受けると、露光を開始し、対象物からの反射光を検出する。受光装置２２０のイメージセンサにおける各受光素子は、各露光期間内に蓄積された電荷を示す信号を処理回路２４０に出力する。処理回路２４０は、光ビームが照射された範囲内で、露光期間に電荷の蓄積があった画素について、前述の方法で距離を計算する。

【0097】

処理回路２４０は、計算した距離をクラスタ番号に関連付けて処理装置３００の記憶装置３２０に出力する。記憶装置３２０は、図８Ｄに示すように、測距結果をクラスタに関連付ける形式で記憶する。ステップＳ１７００における測距およびデータ記憶の終了後、ステップＳ１６５０に戻る。

【0098】

図１２Ａから図１２Ｃは、各クラスタの測距方法の例を示す図である。上記の例では、図１２Ａに示すように、クラスタ５００ごとに１つの特徴点５１０が選択され、その方向に光ビームが出射される。クラスタ５００に対応する範囲が単一の光ビームで照射される範囲を超える場合、図１２Ｂに示すように、各クラスタ５００の２次元領域を複数の部分領域に分割して、部分領域ごとに光ビームを照射してもよい。そのような方法により、部分領域ごとに距離を計測することができる。分割された部分領域ごとの光ビームの照射順序は任意に決定してよい。あるいは、図１２Ｃに示すように、各クラスタ５００の２次元領域に対応する範囲を、光ビームでスキャンしてもよい。スキャンの方向およびスキャンの軌跡は、任意に決定してよい。そのような方法により、スキャンの軌跡に対応する画素のそれぞれについて距離を計測できる。

【0099】

＜ステップＳ１８００＞
処理装置３００の周辺情報生成モジュール３７０は、記憶装置３２０を参照し、認識処理モジュール３１３による画像認識の結果と、クラスタごとに記録された距離とを、クラスタごとに統合する。データの統合方法の詳細については後述する。

【0100】

＜ステップＳ１９００＞
周辺情報生成モジュール３７０は、ステップＳ１８００で統合されたデータを出力データに変換し、移動体の制御装置４００に出力する。出力データの詳細については後述する。この出力データを「周辺情報」と称する。データ出力の後、ステップＳ１１００に戻る。

【0101】

ステップＳ１１００からステップＳ１９００の動作を繰り返すことで、測距システム１０は、移動体が動作するために利用される周辺環境の情報を繰り返し生成する。

【0102】

移動体の制御装置４００は、測距システム１０が出力した周辺情報を基に、移動体の制御を実行する。移動体の制御の一例は、移動体のエンジン、モータ、ステアリング、ブレーキ、およびアクセル等の機構を自動制御することである。移動体の制御は、移動体を運転するドライバーに対して運転に必要な情報を提供すること、あるいはアラートを発することであってもよい。ドライバーに提供される情報は、移動体に搭載されたヘッドアップディスプレイ、およびスピーカー等の出力装置によって出力され得る。

【0103】

図１１の例では、測距システム１０は、撮像装置１００が生成するフレームごとにステップＳ１１００からステップＳ１９００の動作を行う。しかし、測距による情報生成の動作は、複数フレームに１回の頻度で行われてもよい。例えば、ステップＳ１４００の動作の後、以降の動作を実行するか否かを判断するステップが追加されてもよい。例えば、対象物の加速度が所定値以上の場合のみ、測距および周辺情報の生成を行ってもよい。より具体的には、処理装置３００は、現フレームｆ１で計算されたシーン内の相対速度ベクトルを、直前のフレームｆ０について計算されたシーン内の相対速度ベクトルと比較してもよい。フレームｆ１中のすべてのクラスタについて、フレームｆ０中の同一のクラスタに対応する相対速度ベクトルの大きさの差が、あらかじめ定められた値よりも小さい場合、ステップＳ１４５０からステップＳ１８００の動作を省略してもよい。その場合、周辺状況に変化がないものとみなされ、ステップＳ１１００に戻る、あるいは相対速度ベクトルの情報のみを移動体の制御装置４００に出力してステップＳ１１００に戻ってもよい。

【0104】

［１－２－１．相対速度ベクトルの計算］
次に、ステップＳ１４００における相対速度ベクトル計算の詳細を説明する。

【0105】

図１３は、図１１におけるステップＳ１４００の動作の詳細を示すフローチャートである。ステップＳ１４００は、図１３に示すステップＳ１４０１からＳ１４０８の動作を含む。以下、各ステップの動作を説明する。

【0106】

＜ステップＳ１４０１＞
処理装置３００の自車動作処理モジュール３６０は、移動体の制御装置４００から、直前のフレームｆ０の取得時から現フレームｆ１の取得時までの移動体の動作の情報を取得する。動作の情報は、例えば車両の走行速度、および、直前のフレームｆ０のタイミングから現フレームｆ１のタイミングまでの移動方向および距離の情報を含み得る。さらに、自車動作処理モジュール３６０は、制御装置４００から、現フレームｆ１のタイミングから次のフレームｆ２のタイミングまでの移動体の動作の計画を示す情報、例えば作動装置への制御信号を取得する。作動装置への制御信号は、例えば、加速、減速、右折、または左折などの動作を指示する信号であり得る。

【0107】

＜ステップＳ１４０２＞
処理装置３００の相対速度ベクトルモジュール３１２は、記憶装置３２０を参照し、直前のフレームｆ０の画像中のすべての特徴点と、現フレームｆ１の画像中のすべての特徴点について、マッチング処理が完了したかを判断する。すべての特徴点のマッチング処理が終了している場合、ステップＳ１４５０に進む。マッチング処理が行われていない特徴点がある場合、ステップＳ１４０３に進む。

【0108】

＜ステップＳ１４０３＞
相対速度ベクトルモジュール３１２は、記憶装置３２０に記録された直前のフレームｆ０の画像中で抽出された特徴点と現フレームｆ１の画像中で抽出された特徴点のうち、マッチング処理が行われていない点を選択する。選択は、直前のフレームｆ０の画像中の特徴点について優先して行われる。

【0109】

＜ステップＳ１４０４＞
相対速度ベクトルモジュール３１２は、ステップＳ１４０３で選択した特徴点と、当該特徴点が含まれる画像とは異なるフレーム中の特徴点とのマッチングを行う。相対速度ベクトルモジュール３１２は、直前のフレームｆ０から現フレームｆ１の時間の間に、当該特徴点を持つ対象物、あるいは対象物の当該特徴点にあたる位置が、撮像装置１００の視野の外、すなわちイメージセンサの画角の範囲外に出たか否かを判断する。ステップＳ１４０３で選択した特徴点が、直前のフレームｆ０の画像中の特徴点であり、現フレームｆ１の画像中の特徴点の中に、対応する特徴点がない場合、ステップＳ１４０４はｙｅｓと判断される。すなわち、直前のフレームｆ０の画像中の特徴点に対応する特徴点が現フレームｆ１の画像中にない場合、直前のフレームｆ０から現フレームｆ１の時間の間に、当該特徴点にあたる位置が撮像装置１００の視野の外に出たと判断される。その場合、ステップＳ１４０２に戻る。一方、ステップＳ１４０３で選択された特徴点が、直前のフレームｆ０の画像中の特徴点でない場合、または、選択された特徴点が、直前のフレームｆ０の画像中の特徴点であり、現フレームｆ１の画像中に対応する特徴点がある場合、ステップＳ１４０５に進む。

【0110】

＜ステップＳ１４０５＞
相対速度ベクトルモジュール３１２は、ステップＳ１４０３で選択された特徴点と、当該特徴点が含まれる画像とは異なるフレーム中の特徴点とのマッチングを行う。相対速度ベクトルモジュール３１２は、直前のフレームｆ０から現フレームｆ１の時間の間に、当該特徴点を持つ対象物、あるいは対象物の当該特徴点にあたる位置が、撮像装置１００の視野内に入った、あるいは判別可能な大きさの領域を占めるようになったか否かを判断する。ステップＳ１４０３において選択された特徴点が、現フレームｆ１の画像中の特徴点であり、直前のフレームｆ０の画像中に対応する特徴点がない場合、ステップＳ１４０５はＹｅｓと判断される。すなわち、現フレームｆ１の画像中の特徴点に対応する特徴点が直前のフレームｆ０の画像中にない場合、その特徴点は、現フレームｆ１で撮像装置１００の視野内に初出した対象物の特徴点であると判断される。この場合、ステップＳ１４０２に戻る。一方、現フレームｆ１の画像中の特徴点と直前のフレームｆ０の画像中の特徴点とのマッチングに成功した場合、ステップＳ１４０６に進む。

【0111】

＜ステップＳ１４０６＞
相対速度ベクトルモジュール３１２は、ステップＳ１４０３で選択され、現フレームｆ１と直前のフレームｆ０の両方の画像中に、同一の対象物に含まれる特定の特徴点として特定された特徴点について、モーションベクトルを生成する。モーションベクトルは、直前のフレームｆ０の画像中での特徴点の位置から、現フレームｆ１の画像中での対応する特徴点の位置を結ぶベクトルである。

【0112】

図１４Ａから図１４Ｃは、ステップＳ１４０６の動作を模式的に示す図である。図１４Ａは、直前のフレームｆ０の画像の例を示している。図１４Ｂは、現フレームｆ１の画像の例を示している。図１４Ｃは、フレームｆ０およびｆ１の画像を重ね合わせた図である。図１４Ｃにおける矢印は、モーションベクトルを表している。フレームｆ０の画像中の街灯、歩行者、道路の白線、先行車両、および交差する道路上の車両のそれぞれについて、フレームｆ１の画像中の対応箇所をマッチングすることにより、フレームｆ０中の位置を始点とし、フレームｆ１中の位置を終点とするモーションベクトルが得られる。

【0113】

マッチング処理は、例えば、Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅ（ＳＳＤ）、またはＳｕｍ ｏｆ Ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ（ＳＡＤ）に代表されるテンプレートマッチングの方法によって行われ得る。本実施形態では、特徴点を含むエッジの図形をテンプレート画像とし、このテンプレート画像との差が少なくなる画像中の部分が抽出される。マッチングにはこれ以外の方法を用いてもよい。

【0114】

＜ステップＳ１４０７＞
相対速度ベクトルモジュール３１２は、自車動作によるモーションベクトルを生成する。自車動作によるモーションベクトルは、自車から見た静止物体の相対的な移動、すなわち見かけの移動を表す。相対速度ベクトルモジュール３１２は、ステップＳ１４０６で生成された各モーションベクトルの始点における自車動作によるモーションベクトルを生成する。自車動作によるモーションベクトルは、ステップＳ１４０１で取得された、直前のフレームｆ０のタイミングから現フレームｆ１のタイミングまでの移動方向および距離の情報と、図１０に示す記憶装置３５０に記録された自車動作によるモーションベクトルの消失点の座標、および消失点からの距離とベクトルの大きさとの対応関係の情報とに基づいて生成される。自車動作によるモーションベクトルは、自車の移動方向とは逆向きのベクトルである。図１４Ｄは、自車動作によるモーションベクトルの例を示している。ステップＳ１４０７のより詳細な処理については後述する。

【0115】

＜ステップＳ１４０８＞
相対速度ベクトルモジュール３１２は、ステップＳ１４０６で生成された各特徴点のモーションベクトルと、ステップＳ１４０７で生成された自車動作による見かけのモーションベクトルとの差分である相対速度ベクトルを生成する。相対速度ベクトルモジュール３１２は、生成した相対速度ベクトルの始点および終点の座標を記憶装置３２０に記憶する。図８Ｄに示すように、相対速度ベクトルは、現フレームの各特徴点に対応する形式で記録される。図１４Ｅは、相対速度ベクトルの例を示している。図１４Ｃに示すモーションベクトルから図１４Ｄに示す自車動作によるモーションベクトルを減じることにより、相対速度ベクトルが生成される。静止している街灯、白線、およびほぼ静止している歩行者については、相対速度ベクトルはほぼ０である。これに対して、先行車両および交差する道路上の車両については、０よりも大きい長さの相対速度ベクトルが得られる。図１４Ｅの例では、先行車両のモーションベクトルから自車動作による見かけのモーションベクトルを引いたベクトルＶ１は、自車から離れる方向を示すベクトルとなる。一方、交差する道路上の車両のモーションベクトルから自車動作による見かけ上のモーションベクトルを引いたベクトルＶ２は、自車に近づく方向を示すベクトルとなる。ステップＳ１４０８の後、ステップＳ１４０２に戻る。

【0116】

処理装置３００は、ステップＳ１４０２からステップＳ１４０８の動作を繰り返すことにより、フレーム内の全特徴点について、相対速度ベクトルを生成する。

【0117】

図１５は、ステップＳ１４０７における自車動作によるモーションベクトル計算処理の詳細を示すフローチャートである。ステップＳ１４０７は、図１５に示すステップＳ１４７１からＳ１４７３を含む。以下、これらの各ステップの動作を説明する。

【0118】

＜ステップＳ１４７１＞
処理装置３００の相対速度ベクトルモジュール３１２は、ステップＳ１４０１で取得された、直前のフレームｆ０のタイミングから現フレームｆ１のタイミングまでの移動距離と、フレームの時間間隔とから、自車の速度を決定する。

【0119】

＜ステップＳ１４７２＞
相対速度ベクトルモジュール３１２は、記憶装置３５０を参照し、画像中の消失点の座標を取得する。相対速度ベクトルモジュール３１２は、ステップＳ１４０６で生成された各モーションベクトルの始点を自車動作による見かけのモーションベクトルの始点とする。測距システム１０が搭載されている移動体が、ほぼ消失点の方向に進む場合は、消失点から当該モーションベクトルの始点に向かう方向を自車動作による見かけのモーションベクトルの方向とする。

【0120】

図１６Ａから図１６Ｄは、消失点座標と自車動作による見かけのモーションベクトルの例を示す図である。図１６Ａは、測距システム１０が移動体の正面に配置され、移動体が前進している場合の見かけのモーションベクトルの例を示している。図１６Ｂは、測距システム１０が移動体の前面右側に配置され、移動体が前進している場合の見かけのモーションベクトルの例を示している。図１６Ａおよび図１６Ｂの例については上記の方法で自車動作による見かけのモーションベクトルの方向が定められる。図１６Ｃは、測距システム１０が移動体の右側面に配置され、移動体が前進している場合の見かけのモーションベクトルの例を示している。図１６Ｃの例では、測距システム１０が搭載されている移動体の進路は、測距システム１０が撮影あるいは測距する視野角内にはなく、測距システム１０の視野方向と直交する。このような場合、測距システム１０の視野方向は移動体の移動方向に沿って平行移動する。このため、測距システム１０の視野中の消失点に関わらず、移動体の移動方向とは逆の方向が見かけのモーションベクトルの方向となる。図１６Ｄは、測距システム１０が移動体の後部中央に配置され、移動体が前進している場合の見かけのモーションベクトルの例を示している。図１６Ｄの例では、移動体の進行方向は、図１６Ａの例とは逆向きのベクトルで表され、見かけのモーションベクトルの方向も図１６Ａの例とは逆になる。

【0121】

＜ステップＳ１４７３＞
相対速度ベクトルモジュール３１２は、記憶装置３５０を参照し、消失点から当該モーションベクトルの始点までの距離に従ってベクトルの大きさを設定する。そして、ステップＳ１４７１で計算した移動体の速度に応じた補正を加えて、ベクトルの大きさを決定する。以上の処理により、自車動作によるモーションベクトルが決定される。

【0122】

［１－２－２．危険度計算］
次に、処理装置３００の危険度計算モジュール３４０による動作の詳細を説明する。

【0123】

図１７は、ステップＳ１５００における危険度計算の処理の詳細を示すフローチャートである。ステップＳ１５００は、図１７に示すステップＳ１５０１からＳ１５０５を含む。以下、各ステップの動作を説明する。

【0124】

＜ステップＳ１５０１＞
危険度計算モジュール３４０は、記憶装置３２０を参照し、ステップＳ１４５０で生成された現フレームｆ１に対応付けられたクラスタのすべてについて危険度の計算が終了したか否かを判断する。すべてのクラスタで危険度の計算が終了している場合、ステップＳ１６００に進む。危険度の計算が終了していないクラスタがある場合、ステップＳ１５０２に進む。

【0125】

＜ステップＳ１５０２＞
危険度計算モジュール３４０は、現フレームｆ１に対応付けられたクラスタのうち危険度計算が終了していないクラスタを選択する。危険度計算モジュール３４０は、記憶装置３２０を参照し、選択されたクラスタに含まれる特徴点に対応付けられた相対速度ベクトルのうち、終点座標が自車位置に最も近いベクトルを、当該クラスタの相対速度ベクトルとして選択する。

【0126】

＜ステップＳ１５０３＞
危険度計算モジュール３４０は、ステップＳ１５０２で選択されたベクトルを、以下の２つの成分に分解する。１つは、自車方向のベクトル成分であり、自車あるいは撮像装置１００の位置に向かうベクトル成分である。このベクトル成分は、撮像装置１００が生成したシーンの画像中では、例えば画像の下辺中央へ向かう成分である。もう１つの成分は、自車に向かう方向に直交するベクトル成分である。自車方向のベクトル成分の大きさを２倍にしたベクトルの終点を、現フレームｆ１の次のフレームｆ２での当該特徴点がとり得る自車に対する相対的な位置として計算する。さらに、危険度計算モジュール３４０は、当該相対速度ベクトルから求められた当該特徴点がとりうる自車に対する相対的な位置に対応する危険度を、記憶装置３３０を参照して決定する。

【0127】

図１８は、ステップＳ１５０３の処理の例を説明するための図である。図１４Ｅに示す相対速度ベクトルについてステップＳ１５０３の処理を適用することによって得られる、次のフレームｆ２のタイミングでの自車に対する特徴点の相対位置が星印で示されている。この例のように、各クラスタすなわち対象物の特徴点が、次のフレームｆ２でどの位置にあるかが推定され、その位置に応じた危険度が決定される。

【0128】

＜ステップＳ１５０４＞
危険度計算モジュール３４０は、ステップＳ１４０１で取得された動作計画情報に基づいて、加速度に伴う危険度を計算する。危険度計算モジュール３４０は、記憶装置３２０を参照し、直前のフレームｆ０から現フレームｆ１までの相対速度ベクトルと、現フレームｆ１から次のフレームｆ２までの相対速度ベクトルとの差分から、加速度ベクトルを生成する。危険度計算モジュール３４０は、記憶装置３３０に記録された加速度ベクトルと危険度との対応表を参照して、加速度ベクトルに応じた危険度を決定する。

【0129】

＜ステップＳ１５０５＞
危険度計算モジュール３４０は、ステップＳ１５０３で計算した予測位置に応じた危険度と、ステップＳ１５０４で計算した加速度に応じた危険度とを統合する。危険度計算モジュール３４０は、予測位置に応じた危険度を基礎とし、加速度に応じた危険度を乗ずることにより、総合的な危険度を計算する。ステップＳ１５０５の後、ステップＳ１５０１に戻る。

【0130】

ステップＳ１５０１からＳ１５０５の動作を繰り返すことにより、全てのクラスタについて、総合的な危険度が計算される。

【0131】

次に、ステップＳ１５０４における加速度に応じた危険度の計算方法のより詳細な例を説明する。

【0132】

図１９は、ステップＳ１５０４における加速度危険度の計算方法の詳細な例を示すフローチャートである。ステップＳ１５０４は、図１９に示すステップＳ１５４１からＳ１５４９を含む。以下、各ステップの動作を説明する。なお、以下の説明では、撮像装置１００および測距装置２００が車両の前面に配置されているものとする。撮像装置１００および測距装置２００が車両の他の部位に配置されている場合の処理の例については、後述する。

【0133】

＜ステップＳ１５４１＞
危険度計算モジュール３４０は、ステップＳ１４０１で取得された動作計画情報に基づき、自車の加速度ベクトルを計算する。図２０Ａから図２０Ｃは、自車が等速で直進している場合における加速度ベクトルの計算処理の例を示す図である。図２１Ａから図２１Ｃは、自車が加速しながら直進している場合における加速度ベクトルの計算処理の例を示す図である。図２２Ａから図２２Ｃは、自車が減速しながら直進している場合における加速度ベクトルの計算処理の例を示す図である。図２３Ａから図２３Ｃは、自車が右に方向転換する場合における加速度ベクトルの計算処理の例を示す図である。動作計画情報は、例えば、現フレームｆ１から次のフレームｆ２までの自車の動作を示す。この動作に対応するベクトルは、現フレームｆ１での自車の位置を始点とし、次のフレームｆ２での自車の予測位置を終点とするベクトルである。このベクトルは、ステップＳ１５０３と同様の処理によって得られる。図２０Ａ、図２１Ａ、図２２Ａ、および図２３Ａは、現フレームｆ１から次のフレームｆ２までの自車の動作を示すベクトルの例を示している。一方、直前のフレームｆ０から現フレームｆ１までの自車の動作は、自車位置を始点とし、記憶装置３５０に記録された消失点の座標に向かうベクトルによって表される。ベクトルの大きさは、自車の位置と消失点座標との距離に依存する。図２０Ｂ、図２１Ｂ、図２２Ｂ、および図２３Ｂは、直前のフレームｆ０から現フレームｆ１までの自車の動作を示すベクトルの例を示している。自車の加速度ベクトルは、現フレームｆ１から次のフレームｆ２までの自車の動作計画を表すベクトルから、直前のフレームｆ０から現フレームｆ１までの自車の動作を表すベクトルを差し引くことによって得られる。図２０Ｃ、図２１Ｃ、図２２Ｃ、および図２３Ｃは、計算される加速度ベクトルの例を示している。図２０Ｃの例では、加速度が生じていないため、加速度ベクトルは０である。

【0134】

＜ステップＳ１５４２＞
危険度計算モジュール３４０は、ステップＳ１５４１で得られた自車の加速度ベクトルを、自車の直進方向の成分と直交方向の成分とに分解する。直進方向の成分は、図中の上下方向の成分であり、直交方向の成分は図中の左右方向の成分である。図２０Ｃ、図２１Ｃ、および図２２Ｃの例では、加速度ベクトルは直進方向の成分のみを持つ。図２３Ｃの例では、加速度ベクトルは直進方向と直交方向の両方の成分を持つ。加速度ベクトルが直交方向の成分を持つのは、移動体が方向転換を行う場合である。

【0135】

＜ステップＳ１５４３＞
危険度計算モジュール３４０は、ステップＳ１５４２で分解した加速度ベクトルの成分のうち、直交方向の成分の絶対値があらかじめ定められた値Ｔｈ１を超えているか否かを判断する。直交方向の成分の大きさがＴｈ１を超えている場合、ステップＳ１５４４に進む。直交方向の成分の大きさがＴｈ１を超えない場合、ステップＳ１５４５に進む。

【0136】

＜ステップＳ１５４４＞
危険度計算モジュール３４０は、記憶装置３２０を参照し、現フレームｆ１における相対速度ベクトルについて、ステップＳ１５４２で抽出した加速度ベクトルの直交成分と同一の方向の成分の大きさを計算する。危険度計算モジュール３４０は、記憶装置３３０を参照し、加速度ベクトルの直交成分から危険度を決定する。

【0137】

＜ステップＳ１５４５＞
危険度計算モジュール３４０は、ステップＳ１５４２で分解した加速度ベクトルの成分のうち、直進方向の成分の絶対値があらかじめ定められた値Ｔｈ２を下回るか否かを判断する。直進方向の成分の大きさがＴｈ２よりも小さい場合、ステップＳ１５０５に進む。直進方向の成分の大きさがＴｈ２以上の場合、ステップＳ１５４６に進む。直進方向の成分の大きさが一定の値未満である状態は、急峻な加減速がないことを示す。直進方向の成分の大きさが一定の値以上である状態は、ある程度急峻な加減速が行われることを示す。この例では、加減速が小さい場合には、加速度危険度は計算されない。

【0138】

＜ステップＳ１５４６＞
危険度計算モジュール３４０は、記憶装置３２０を参照し、現フレームｆ１における相対速度ベクトルについて、自車向き方向の成分の大きさを計算する。

【0139】

＜ステップＳ１５４７＞
危険度計算モジュール３４０は、ステップＳ１５４２で分解された加速度ベクトルの成分のうち、直進方向の成分があらかじめ定められた値－Ｔｈ２以下であるか否かを判断する。直進方向の成分が－Ｔｈ２以下である場合、ステップＳ１５４８に進む。直交方向の成分が値－Ｔｈ２よりも大きい場合、ステップＳ１５４９に進む。ここで、Ｔｈ２は正の値である。従って、加速度ベクトルの直進方向の成分が－Ｔｈ２以下である状態は、ある程度急峻に減速することを示している。

【0140】

＜ステップＳ１５４８＞
危険度計算モジュール３４０は、記憶装置３２０を参照して、フレームｆ１に対応付けられた相対速度ベクトルについて、ステップＳ１５４６で計算した自車向きの成分の大きさに減速係数を乗ずる。減速係数は、１よりも小さい値であって、ステップＳ１５４２で計算された直進加速度の絶対値に反比例する値として設定され得る。危険度計算モジュール３４０は、記憶装置３３０を参照し、加速度ベクトルの直進成分から危険度を決定する。

【0141】

＜ステップＳ１５４９＞
危険度計算モジュール３４０は、記憶装置３２０を参照して、フレームｆ１に対応付けられた相対速度ベクトルについて、ステップＳ１５４６で計算した自車向きの成分の大きさに加速係数を乗ずる。加速係数は、１よりも大きい値であって、ステップＳ１５４２で計算された直進加速度の絶対値に比例する値として設定され得る。危険度計算モジュール３４０は、記憶装置３３０を参照し、加速度ベクトルの直進成分から危険度を決定する。

【0142】

［１－２－３．危険度に基づく測距対象の決定］
次に、ステップＳ１６００の動作の詳細な例を説明する。

【0143】

図２４は、ステップＳ１６００の動作の詳細な例を示すフローチャートである。ステップＳ１６００は、図２４に示すステップＳ１６０１からＳ１６０６を含む。以下、各ステップの動作を説明する。測距装置２００の制御回路２３０は、ステップＳ１５００で決定されたクラスタごとの危険度に従って測距対象を決定し、測距対象の有無を判断する。

【0144】

＜ステップＳ１６０１＞
制御回路２３０は、選択されたクラスタ数があらかじめ定められた値Ｃ１を超えているか否かを判定する。測距対象として選択されたクラスタ数がＣ１を超えている場合、ステップＳ１６５０に進む。測距対象として選択されたクラスタ数がＣ１以下の場合、ステップＳ１６０２に進む。

【0145】

＜ステップＳ１６０２＞
制御回路２３０は、記憶装置３２０を参照し、当該フレームの相対速度ベクトルのすべてについて測距対象か否かの判断が終了しているか否かを判定する。当該フレームのすべての相対速度ベクトルに対して測距対象か否かの判断が終了している場合、ステップＳ１６０６に進む。当該フレームの相対速度ベクトルの中に、測距対象か否かの判断が終了していないベクトルがある場合、ステップＳ１６０３に進む。

【0146】

＜ステップＳ１６０３＞
制御回路２３０は、記憶装置３２０を参照し、当該フレームの相対速度ベクトルのうち、測距対象か否かの判断が終了していないベクトルを抽出する。ここでは、測距対象か否かの判断が終了していないベクトルのうち、危険度が最も高いベクトルが選択される。

【0147】

＜ステップＳ１６０４＞
制御回路２３０は、ステップＳ１６０３で選択した相対速度ベクトルの危険度があらかじめ定められた基準Ｔｈ４を下回るか否かを判断する。当該ベクトルの危険度がＴｈ４を下回る場合、ステップＳ１６５０に進む。当該ベクトルの危険度がＴｈ４以上である場合、ステップＳ１６０５に進む。

【0148】

＜ステップＳ１６０５＞
制御回路２３０は、ステップＳ１６０３で選択したベクトルを含むクラスタを測距対象のクラスタとして決定し、当該クラスタに含まれるベクトルのすべてについて測距対象か否かの判断が終了したものとする。ステップＳ１６０５の後、ステップＳ１６０１に戻る。

【0149】

＜ステップＳ１６０６＞
制御回路２３０は、測距対象のクラスタが１つ以上抽出されているか否かを判断する。測距対象のクラスタが１つも抽出されていない場合、ステップＳ１１００に戻る。測距対象のクラスタが１つ以上抽出されている場合、ステップＳ１６５０に進む。

【0150】

ステップＳ１６０１からステップＳ１６０６を繰り返すことで、制御回路２３０は、測距対象となるすべてのクラスタを選択する。なお、本実施形態では、制御回路２３０がステップＳ１６００の動作を実行するが、処理装置３００がステップＳ１６００の動作を代わりに実行してもよい。

【0151】

［１－２－４．測距］
次に、ステップＳ１７００における測距の動作の具体例を説明する。

【0152】

図２５は、ステップＳ１７００における測距の動作の詳細な例を示すフローチャートである。ステップＳ１７００は、図２５に示すステップＳ１７０１からＳ１７０３を含む。以下、各ステップの動作を説明する。制御回路２３０は、ステップＳ１６００で測距対象として決定されたクラスタについて、クラスタ内の相対速度ベクトルから予測される、次のフレームｆ２での位置情報に基づき、光ビームの出射方向を決定して測距を行う。

【0153】

＜ステップＳ１７０１＞
制御回路２３０は、ステップＳ１６００で選択されたクラスタのうち、まだ測距が行われていないクラスタを選択する。

【0154】

＜ステップＳ１７０２＞
制御回路２３０は、記憶装置３２０を参照して、ステップＳ１７０１で選択したクラスタに対応する１つ以上の相対速度ベクトルから、あらかじめ定められた数、例えば５までの相対速度ベクトルを抽出する。抽出の基準として、例えば、危険度の最も高い相対速度ベクトルを含み、互いに終点が最も離れた配置になる５つの相対速度ベクトルが選択され得る。

【0155】

＜ステップＳ１７０３＞
制御回路２３０は、ステップＳ１７０２で選択した相対速度ベクトルについて、図１７に示すステップＳ１５０３の危険度計算過程と同様に、図１８に示すように、当該相対速度ベクトルの自車方向の成分を２倍にしたベクトルの終点位置を、対象物の予測位置として特定する。制御回路２３０は、特定した次のフレームｆ２での予測位置に光ビームが照射されるように、光ビームの出射方向を決定する。

【0156】

＜ステップＳ１７０４＞
制御回路２３０は、ステップＳ１７０３で決定された光ビームの出射方向および出射タイミング、受光装置２２０の露光タイミング、およびデータ読み出しタイミング等を制御する制御信号を、発光装置２１０と受光装置２２０に出力する。発光装置２１０は、制御信号を受けて、光ビームを出射する。受光装置２２０は、制御信号を受けて、露光およびデータ出力を行う。処理回路２４０は、受光装置２２０の検出結果を示す信号を受けて、前述の方法により、対象物までの距離を計算する。

【0157】

［１－２－５．データ統合と出力］
次に、ステップＳ１８００におけるデータ統合処理の具体例を説明する。

【0158】

図２６は、ステップＳ１８００におけるデータ統合処理の詳細な例を示すフローチャートである。ステップＳ１８００は、図２６に示すステップＳ１８０１からステップＳ１８０４を含む。以下、各ステップの動作を説明する。処理装置３００の周辺情報生成モジュール３７０は、対象物を示すクラスタの領域、クラスタ内の距離分布、および認識処理の結果を示すデータを統合して、制御装置４００に出力する。

【0159】

＜ステップＳ１８０１＞
周辺情報生成モジュール３７０は、記憶装置３２０を参照して、図８Ｄに示すデータから、ステップＳ１７００で測距を行ったクラスタを抽出する。

【0160】

＜ステップＳ１８０２＞
周辺情報生成モジュール３７０は、記憶装置３２０を参照して、図８Ｄに示すデータから、ステップＳ１８０１で抽出したクラスタに対応する画像認識結果を抽出する。

【0161】

＜ステップＳ１８０３＞
周辺情報生成モジュール３７０は、記憶装置３２０を参照して、図８Ｄに示すデータから、ステップＳ１８０１で抽出したクラスタに対応する距離を抽出する。このとき、ステップＳ１７００で計測された、クラスタ内の１個以上の相対速度ベクトルに対応する距離の情報が抽出される。距離が相対速度ベクトルごとに異なる場合、例えば最も小さい距離がクラスタの距離として採用され得る。なお、複数の距離の平均値または中央値などの、最小値以外の代表値をクラスタの距離として用いてもよい。

【0162】

＜ステップＳ１８０４＞
周辺情報生成モジュール３７０は、記憶装置３５０に予め記録されているイメージセンサの位置および画角の情報に基づき、ステップＳ１８０１で抽出したクラスタの領域を示す座標データと、ステップＳ１８０３で決定した距離データとを、測距システム１０が搭載される移動体の座標系で表現されたデータに変換する。図２７は、移動体の座標系の例を示す図である。この例における移動体の座標系は、移動体の中心を原点とし、移動体の前方を０度とする、水平方向の角度と高さと原点からの水平方向の距離によって示される３次元座標系である。これに対して、測距システム１０の座標系は、例えば、図２７に移動体の右前方に原点を持つ座標系として示されているように、ｘｙ座標と距離とによって構成される３次元座標系である。周辺情報生成モジュール３７０は、記憶装置３５０に記録されたセンサ位置と画角の情報に基づき、測距システム１０の座標系で記録されたクラスタの範囲と距離のデータを、移動体の座標系で表現されたデータに変換する。

【0163】

図２８Ａは、処理装置３００が生成する出力データの一例を示す図である。この例における出力データは、各クラスタの領域および距離、認識結果、および危険度を対応付けたデータである。処理装置３００は、このようなデータを生成し、移動体の制御装置４００に出力する。図２８Ｂは、出力データの他の例を示す図である。この例では、認識内容にコードが割り当てられており、処理装置３００は、データの先頭にコードと認識内容との対応表を含め、クラスタごとのデータには認識内容としてコードのみを記録する方法でデータを生成する。あるいは、認識結果とコードとの対応表があらかじめ移動体の記憶装置に保持されている場合には、処理装置３００は、認識結果としてコードのみを出力してもよい。

【0164】

［１－３．効果］
以上のように、本実施形態の測距システム１０は、撮像装置１００と、測距装置２００と、処理装置３００とを備える。測距装置２００は、光ビームの出射方向を水平方向および垂直方向に沿って変化させることができる発光装置２１０と、イメージセンサを含む受光装置２２０と、制御回路２３０と、処理回路２４０とを備える。処理装置３００は、撮像装置１００が連続して撮影することによって取得した複数の２次元の輝度画像から、シーン内の１つ以上の対象物のモーションベクトルを生成する。処理装置３００は、当該モーションベクトルと、測距システム１０を含む移動体から得た自車の動作情報とに基づいて、対象物の危険度を計算する。制御回路２３０は、処理装置３００が計算した危険度に基づいて、測距の対象とする対象物を選択する。測距装置２００は、選択された対象物の方向に光ビームを出射することで対象物までの距離を計測する。処理装置３００は、対象物の座標範囲と距離の情報を含むデータを移動体の制御装置４００に出力する。

【0165】

以上の構成により、測距システム１０の測距対象のシーン内で、衝突等の危険度の高い対象物を選択して距離を計測することができる。このため、少ない測距動作で、危険回避に効果的な距離情報を取得することができる。

【0166】

［１－４．変形例］
実施形態１では、測距システム１０は、輝度画像を取得する撮像装置１００と、測距を行う測距装置２００と、危険度計算を行う処理装置３００とを備えるが、本開示はこのような構成に限定されない。例えば、処理装置３００は、測距システム１０を含む移動体の構成要素であってもよい。その場合、測距システム１０は、撮像装置１００と、測距装置２００とを備える。撮像装置１００は、画像を取得して、移動体における処理装置３００に出力する。処理装置３００は、撮像装置１００から取得した画像に基づき、画像内の１つ以上の対象物の危険度を計算し、距離を計測すべき対象物を特定し、対象物の予測位置を示す情報を測距装置２００に出力する。測距装置２００の制御回路２３０は、処理装置３００から取得した対象物の予測位置の情報に基づいて、発光装置２１０および受光装置２２０を制御する。制御回路２３０は、光ビームの出射の方向およびタイミングを制御する制御信号を発光装置２１０に出力し、露光タイミングを制御する制御信号を受光装置２２０に出力する。発光装置２１０は、制御信号に従い、光ビームを対象物の方向に出射する。受光装置２２０は、制御信号に従い、画素ごとに露光を行い、各露光期間に蓄積された電荷を示す信号を処理回路２４０に出力する。処理回路２４０は、当該信号に基づき、画素ごとに距離を計算することで、対象物の距離情報を生成する。

【0167】

処理装置３００と、測距装置２００における制御回路２３０および処理回路２４０の機能は、移動体が備える処理装置（例えば前述の制御装置４００）に統合されていてもよい。その場合、測距システム１０は、撮像装置１００と、発光装置２１０と、受光装置２２０とを備える。撮像装置１００は、画像を取得して、移動体における処理装置に出力する。移動体における処理装置は、撮像装置１００から取得した画像に基づき、画像内の１つ以上の対象物の危険度を計算し、距離を計測すべき対象物を特定し、当該対象物の測距を行うように発光装置２１０および受光装置２２０を制御する。当該処理装置は、光ビームの出射の方向およびタイミングを制御する制御信号を発光装置２１０に出力し、露光タイミングを制御する制御信号を受光装置２２０に出力する。発光装置２１０は、制御信号に従い、光ビームを対象物の方向に出射する。受光装置２２０は、制御信号に従い、画素ごとに露光を行い、各露光期間に蓄積された電荷を示す信号を、移動体における処理装置に出力する。処理装置は、当該信号に基づき、画素ごとに距離を計算することで、対象物の距離情報を生成する。

【0168】

実施形態１では、撮像装置１００が連続して生成するフレームの各々について、図１１に示すステップＳ１１００からＳ１９００の動作が実行される。しかし、すべてのフレームでステップＳ１１００からＳ１９００のすべての動作を実行する必要はない。例えば、ステップＳ１６００で測距対象として決定された対象物については、以後のフレームにおいて、撮像装置１００から取得した画像に基づいて測距対象にするか否かを判断することなく、引き続き測距対象としてもよい。言い換えれば、一旦測距対象として決定された対象物については、以後のフレームでトラッキングの対象として記憶し、ステップＳ１４００からステップＳ１６００の処理を省略してもよい。この場合、トラッキングの終了は、例えば、以下の条件によって決定され得る。
・撮像装置１００の画角から当該対象物が外れた場合、または
・計測された当該対象物の距離が、あらかじめ定められた値を超えた場合。

【0169】

トラッキングは、あらかじめ定められた２以上のフレームごとに見直されるものとしてもよい。あるいは、図１９に示すステップＳ１５４３で直交加速度が閾値Ｔｈ１よりも大きい場合に、トラッキング対象のクラスタについても危険度の計算を行い、トラッキングを見直してもよい。

【0170】

実施形態１では、測距システム１０が移動体の前面中央に設置されている場合を中心に説明を行った。以下、測距システム１０が移動体の前面右端に設置されている場合、右側面に設置されている場合、および後方中央に設置されている場合のそれぞれについて、ステップＳ１４００における相対速度ベクトル計算の処理の例を説明する。

【0171】

図２９Ａから図２９Ｅは、測距システム１０が移動体の前面右端に設置されている場合に、測距システム１０が撮影および測距するシーンの例を模式的に示す図である。図２９Ａは、直前のフレームｆ０の画像の例を示す図である。図２９Ｂは、現フレームｆ１の画像の例を示す図である。図２９Ｃは、フレームｆ０およびｆ１の画像を重ね合わせ、モーションベクトルを矢印で表した図である。図２９Ｄは、自車動作によるモーションベクトルの例を示す図である。図２９Ｅは、相対速度ベクトルの例を示す図である。処理装置３００は、ステップＳ１３００で処理された現フレームｆ１の２次元画像と、その直前のフレームｆ０の２次元画像とを用いて相対速度ベクトルを生成する。処理装置３００は、現フレームｆ１の特徴点と、直前のフレームｆ０の特徴点とのマッチングを行う。マッチングされた特徴点について、図２９Ｃに例示するように、フレームｆ０での特徴点の位置からフレームｆ１での特徴点の位置を結ぶモーションベクトルを生成する。処理装置３００は、生成したモーションベクトルから、図２９Ｄに示す自車動作によるベクトルを減じることにより、相対速度ベクトルを計算する。相対速度ベクトルは、図２９Ｅに例示するように、当該相対ベクトルの計算に用いたフレームｆ１の特徴点と対応付けられ、ベクトルの始点と終点の座標を記述する形式で記憶装置３２０に記録される。図３０は、測距システム１０が移動体の前面右端に設置されている場合におけるシーン内の対象物の予測相対位置の例を示す図である。図１８に示す例と同様、処理装置３００は、相対速度ベクトルの自車方向の成分を２倍にしたベクトルの終点位置を特定する。処理装置３００は、特定した終点位置を、次のフレームｆ２での予測相対位置とし、その位置に光ビームが照射されるように出射方向を決定する。

【0172】

図３１Ａから図３１Ｅは、測距システム１０が移動体の右側面に設置されている場合に、測距システム１０が撮影および測距するシーンの例を模式的に示す図である。図３１Ａは、直前のフレームｆ０の画像の例を示す図である。図３１Ｂは、現フレームｆ１の画像の例を示す図である。図３１Ｃは、フレームｆ０およびｆ１の画像を重ね合わせ、モーションベクトルを矢印で表した図である。図３１Ｄは、自車動作によるモーションベクトルの例を示す図である。図３１Ｅは、相対速度ベクトルの例を示す図である。この例においても、処理装置３００は、現フレームｆ１の２次元画像と、直前のフレームｆ０の２次元画像とを用いて相対速度ベクトルを生成する。処理装置３００は、現フレームｆ１の特徴点と、直前のフレームｆ０の特徴点とのマッチングを行う。マッチングされた特徴点について、図３１Ｃに例示するように、フレームｆ０での特徴点の位置からフレームｆ１での特徴点の位置を結ぶモーションベクトルを生成する。処理装置３００は、生成したモーションベクトルから、図３１Ｄに示す自車動作によるベクトルを減じることにより、相対速度ベクトルを計算する。図３１Ｅの例では、計算された相対速度ベクトルは、フレームｆ１の特徴点と対応させるとシーンの右端を超えて大きくなる。このため、当該相対速度ベクトルによる次のフレームｆ２での予測位置は、当該測距システム１０の画角の範囲外となる。このため、当該特徴点に対応する物体は、次のフレームｆ２での照射の対象とはならない。また、図３１Ｅに示す相対速度ベクトルは、自車動作によるベクトルに平行であり、自車方向の成分を持たない。そのため、次のフレームｆ２での自車方向の予測相対位置は現フレームｆ１から変わらず、危険度の増加はない。

【0173】

図３２Ａから図３２Ｅは、測距システム１０が移動体の後方中央に設置されている場合に、測距システム１０が撮影および測距するシーンの例を模式的に示す図である。図３２Ａは、直前のフレームｆ０の画像の例を示す図である。図３２Ｂは、現フレームｆ１の画像の例を示す図である。図３２Ｃは、フレームｆ０およびｆ１の画像を重ね合わせ、モーションベクトルを矢印で表した図である。図３２Ｄは、自車動作によるモーションベクトルの例を示す図である。図３２Ｅは、相対速度ベクトルの例を示す図である。この例においても、処理装置３００は、現フレームｆ１の２次元画像と、直前のフレームｆ０の２次元画像とを用いて相対速度ベクトルを生成する。処理装置３００は、現フレームｆ１の特徴点と、直前のフレームｆ０の特徴点とのマッチングを行う。マッチングされた特徴点について、図３２Ｃに例示するように、フレームｆ０での特徴点の位置からフレームｆ１での特徴点の位置を結ぶモーションベクトルを生成する。処理装置３００は、生成したモーションベクトルから、図３２Ｄに示す自車動作によるベクトルを減じることにより、相対速度ベクトルを計算する。相対速度ベクトルは、図３２Ｅに例示するように、当該相対ベクトルの計算に用いたフレームｆ１の特徴点と対応付けられ、ベクトルの始点と終点の座標を記述する形式で記憶装置３２０に記録される。図３３は、測距システム１０が移動体の後方中央に設置されている場合におけるシーン内の対象物の予測相対位置の例を示す図である。図１８に示す例と同様、処理装置３００は、相対速度ベクトルの自車方向の成分を２倍にしたベクトルの終点位置を特定する。処理装置３００は、特定した終点位置を、次のフレームｆ２での予測相対位置とし、その位置に光ビームが照射されるように出射方向を決定する。

【0174】

次に、測距システム１０が移動体の前面右端に設置されている場合、右側面に設置されている場合、および後方中央に設置されている場合のそれぞれについて、図１７に示すステップＳ１５０４における加速度に応じた危険度を計算する処理の例を説明する。

【0175】

図３４Ａから図３４Ｃは、測距システム１０が移動体の前面右端に設置されており、自車が加速しながら直進している場合における加速度ベクトルの計算処理の例を示す図である。図３５Ａから図３５Ｃは、測距システム１０が移動体の前面右端に設置されており、自車が減速しながら直進している場合における加速度ベクトルの計算処理の例を示す図である。図３６Ａから図３６Ｃは、測距システム１０が移動体の前面右端に設置されており、自車が減速しながら右に方向転換する場合における加速度ベクトルの計算処理の例を示す図である。

【0176】

図３７Ａから図３７Ｃは、測距システム１０が移動体の右側面に設置されており、自車が加速しながら直進している場合における加速度ベクトルの計算処理の例を示す図である。図３８Ａから図３８Ｃは、測距システム１０が移動体の右側面に設置されており、自車が減速しながら直進している場合における加速度ベクトルの計算処理の例を示す図である。図３９Ａから図３９Ｃは、測距システム１０が移動体の右側面に設置されており、自車が減速しながら右に方向転換する場合における加速度ベクトルの計算処理の例を示す図である。

【0177】

図４０Ａから図４０Ｃは、測距システム１０が移動体の後方中央に設置されており、自車が加速しながら直進している場合における加速度ベクトルの計算処理の例を示す図である。図４１Ａから図４１Ｃは、測距システム１０が移動体の後方中央に設置されており、自車が減速しながら直進している場合における加速度ベクトルの計算処理の例を示す図である。図４２Ａから図４２Ｃは、測距システム１０が移動体の後方中央に設置されており、自車が減速しながら右に方向転換する場合における加速度ベクトルの計算処理の例を示す図である。

【0178】

これらの各例において、処理装置３００は、ステップＳ１４０１で取得した動作計画情報に基づいて、加速度に伴う危険度を計算する。処理装置３００は、記憶装置３２０を参照し、直前のフレームｆ０から現フレームｆ１までの自車動作を示すベクトルと、現フレームｆ１から次のフレームｆ２までの自車の動作計画を示すベクトルとの差分を求め、加速度ベクトルを生成する。図３４Ｂ、３５Ｂ、３６Ｂ、３７Ｂ、３８Ｂ、３９Ｂ、４０Ｂ、４１Ｂ、４２Ｂは、直前のフレームｆ０から現フレームｆ１までの自車動作を示すベクトルの例を示している。図３４Ａ、３５Ａ、３６Ａ、３７Ａ、３８Ａ、３９Ａ、４０Ａ、４１Ａ、４２Ａは、現フレームｆ１から次のフレームｆ２までの自車の動作計画を示すベクトルの例を示している。図３４Ｃ、３５Ｃ、３６Ｃ、３７Ｃ、３８Ｃ、３９Ｃ、４０Ｃ、４１Ｃ、４２Ｃは、生成される加速度ベクトルの例を示している。処理装置３００は、記憶装置３３０に記録された加速度ベクトルと危険度との対応表を参照して、加速度ベクトルに応じた危険度を決定する。なお、測距システム１０が移動体の後方にある場合、図９Ｂに示す直進加速度と危険度との関係は逆転する。測距システム１０が移動体の後方にある場合は、記憶装置３３０は直進加速度として、移動体の前方にある場合の直進加速度の符号を反転させた対応表を記憶してもよいし、処理装置３００が直進加速度の符号を反転させて危険度を求めてもよい。

【0179】

以上の実施形態では、処理装置３００は、撮像装置１００が異なる時間に取得した複数の画像に基づき、対象物との相対速度ベクトルおよび相対位置を求める。さらに、処理装置３００は、測距システム１０を含む移動体の動作計画情報に基づき、移動体の加速度を求め、当該加速度に基づいて対象物の危険度を決定する。測距装置２００は、危険度の高い対象物から優先的に、対象物までの距離を計測する。対象物ごとに距離を計測するため、測距装置２００は、発光装置２１０が出射する光ビームの方向を各対象物の方向に設定する。

【0180】

上記の動作において、測距装置２００は、危険度の高さに応じて測距動作における光ビームの出射と露光の反復回数を決定してもよい。あるいは、危険度の高さに応じて測距動作における光ビームの出射の時間長と露光の時間長を決定してもよい。そのような動作により、危険度に基づいて測距の精度または距離レンジを調整することができる。

【0181】

図４３は、上記の動作を実現するための測距装置２００の構成例を示すブロック図である。この例における測距装置２００は、図１に示す構成要素に加えて、記憶装置２５０を備えている。記憶装置２５０は、処理装置３００が決定するクラスタすなわち対象物ごとの危険度に応じた、光ビームの出射および露光の反復回数と、光ビームの出射および露光の時間長との対応関係を規定するデータを記憶する。

【0182】

制御回路２３０は、記憶装置２５０を参照し、処理装置３００が計算した危険度に応じて、発光装置２１０が出射する光ビームの時間長と出射の反復回数を決定する。さらに、危険度に応じて、受光装置２２０の露光時間長と露光の反復回数を決定する。これにより、制御回路２３０は、測距の動作を制御し、測距の精度と測距の距離レンジを調整する。

【0183】

図４４は、記憶装置２５０が記憶するデータの一例を示す図である。図４４の例では、危険度の範囲と、距離レンジおよび精度との対応表が記録される。記憶装置２５０は、対応表の代わりに、危険度から距離レンジまたは精度を決定するための関数を記憶してもよい。距離レンジの調整は、例えば図６および図７に例示する間接ＴｏＦ法による測距において、光パルスおよび各露光期間の時間長Ｔ０を調整することで実現できる。Ｔ０を長くするほど、測距可能な距離レンジを拡大することができる。また、図６（ｃ）および（ｄ）に示す露光期間１および露光期間２のタイミングを調整することで、測距可能な距離レンジをずらすこともできる。例えば露光期間１を図６（ａ）の投光開始と同時に開始するのではなく、投光開始よりも遅らせることで、測距可能な距離レンジを長距離側にずらすことができる。ただし、この場合は露光期間１の開始以前に反射光が受光装置２２０に到達する近距離の測距はできない。露光期間１の開始を遅らせる場合も、露光期間１および露光期間２の時間長は投光の時間長と同等であり、露光期間２の開始時点は露光期間１の終了時点と同一である。また、測距の精度は測距の反復回数に依存する。複数回の測距の結果を平均化するなどの処理により、誤差を低減することができる。反復回数を危険度が高いほど多くすることにより、危険な対象物についての測距の精度を向上させることができる。

【0184】

前述の実施形態では、図８Ｄに示すように、記憶装置３２０は、ステップＳ１５０３で計算された予測相対位置に応じた危険度と、ステップＳ１５０４で計算された加速度に応じた危険度とを統合した総合的な危険度のみを記憶する。この場合、記憶装置２５０は、総合的な危険度と距離レンジおよび精度との対応を規定するデータを記憶する。一方、記憶装置３２０は、予測相対位置に応じた危険度および加速度に応じた危険度の両方を記憶してもよい。その場合には、記憶装置２５０は、予測相対位置に応じた危険度および加速度に応じた危険度から、測距の距離レンジおよび精度を決定するための対応表または関数を記憶してもよい。

【0185】

図４５は、危険度に応じて測距の距離レンジおよび反復回数を調整する変形例における測距の動作を示すフローチャートである。図４５に示すフローチャートでは、図２５に示すフローチャートにおけるステップＳ１７０３とＳ１７０４との間に、ステップＳ１７１１およびＳ１７１２が追加されている。また、ステップＳ１７０４において、光ビームの出射および検出が、設定された反復回数だけ繰り返される。それ以外の点は、前述の実施形態の動作と同じである。以下、前述の実施形態の動作と異なる点を説明する。

【0186】

＜ステップＳ１７１１＞
制御回路２３０は、記憶装置３２０を参照し、ステップＳ１７０１で選択したクラスタに対応する危険度を抽出する。制御回路２３０は、記憶装置２５０を参照し、危険度に対応する距離レンジ、すなわち光ビームを出射する時間長と、受光装置２２０の露光期間の時間長とを決定する。例えば危険度が高いほど、距離レンジをより近くから遠くまでを含むように設定する。すなわち、危険度が高いほど、発光装置２１０から出射される光ビームの出射時間長と受光装置２２０の露光時間長とが長くなる。

【0187】

＜ステップＳ１７１２＞
制御回路２３０は、記憶装置２５０を参照し、ステップＳ１７１１で抽出した危険度に基づいて、危険度に対応する測距精度、すなわち、出射と露光の動作の反復回数を決定する。例えば危険度が高いほど測距精度を高めるように設定する。すなわち、危険度が高いほど出射と受光の動作の反復回数を増加させる。

【0188】

＜ステップＳ１７０４＞
制御回路２３０は、ステップＳ１７０３で決定されたビームの出射方向、ステップＳ１７１１で決定された出射タイミングと出射の時間長、および受光装置２２０の露光タイミングと露光時間長、さらにステップＳ１７１２で決定された出射と露光を組合わせた動作の反復回数を制御する制御信号を、発光装置２１０と受光装置２２０とに出力して、測距を行う。測距の方法は前述のとおりである。

【0189】

本変形例によれば、危険度が高い対象物ほど、広いレンジで、高い精度で測距を行うことができる。広いレンジと高い精度での測距を行うには、より長い計測時間を必要とする。一定時間内に複数の対象物の測距を行うために、例えば、危険度の高い対象物の測距の時間を相対的に長くし、危険度の低い対象物の測距の時間を相対的に短くしてもよい。そのような動作により、測距動作全体の時間を適切に調整することができる。

【産業上の利用可能性】

【0190】

本開示の技術は、測距を行う装置またはシステムに広く利用可能である。例えば、本開示の技術は、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）システムの構成要素として使用され得る。

【符号の説明】

【0191】

１０ 測距システム
１００ 撮像装置
１１０ 光学系
１２０ イメージセンサ
２００ 測距装置
２１０ 発光装置
２２０ 受光装置
２３０ 制御回路
２４０ 処理回路
２５０ 記憶装置
３００ 処理装置
３１０ 画像処理モジュール
３１１ 前処理モジュール
３１２ 相対速度ベクトル計算モジュール
３１３ 認識処理モジュール
３２０ 第１記憶装置
３３０ 第２記憶装置
３４０ 危険度計算モジュール
３５０ 第３記憶装置
３６０ 自車動作処理モジュール
３７０ 周辺情報生成モジュール
４００ 移動体の制御装置
５００ クラスタ
５１０ 照射点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図8D】

【図9A】

【図9B】

【図9C】

【図9D】

【図10】

【図11】

【図12A】

【図12B】

【図12C】

【図13】

【図14A】

【図14B】

【図14C】

【図14D】

【図14E】

【図15】

【図16A】

【図16B】

【図16C】

【図16D】

【図17】

【図18】

【図19】

【図20A】

【図20B】

【図20C】

【図21A】

【図21B】

【図21C】

【図22A】

【図22B】

【図22C】

【図23A】

【図23B】

【図23C】

【図24】

【図25】

【図26】

【図27】

【図28A】

【図28B】

【図29A】

【図29B】

【図29C】

【図29D】

【図29E】

【図30】

【図31A】

【図31B】

【図31C】

【図31D】

【図31E】

【図32A】

【図32B】

【図32C】

【図32D】

【図32E】

【図33】

【図34A】

【図34B】

【図34C】

【図35A】

【図35B】

【図35C】

【図36A】

【図36B】

【図36C】

【図37A】

【図37B】

【図37C】

【図38A】

【図38B】

【図38C】

【図39A】

【図39B】

【図39C】

【図40A】

【図40B】

【図40C】

【図41A】

【図41B】

【図41C】

【図42A】

【図42B】

【図42C】

【図43】

【図44】

【図45】