特許 7146004 同期スピニングＬＩＤＡＲおよびローリングシャッターカメラシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-22

(45)【発行日】2022-10-03

(54)【発明の名称】同期スピニングＬＩＤＡＲおよびローリングシャッターカメラシステム

(51)【国際特許分類】

   G01S 17/86 20200101AFI20220926BHJP

   G01S 17/931 20200101ALI20220926BHJP

   G03B 15/00 20210101ALI20220926BHJP

   H04N 5/225 20060101ALI20220926BHJP

【ＦＩ】

G01S17/86

G01S17/931

G03B15/00 V

H04N5/225 800

H04N5/225 100

【請求項の数】 18

【外国語出願】

(21)【出願番号】P 2021041076

(22)【出願日】2021-03-15

(62)【分割の表示】P 2020517102の分割

【原出願日】2018-07-13

(65)【公開番号】P2021105611

(43)【公開日】2021-07-26

【審査請求日】2021-04-05

(31)【優先権主張番号】15/719,366

(32)【優先日】2017-09-28

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】317015065

【氏名又は名称】ウェイモ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】ガッサン，ブレイズ

(72)【発明者】

【氏名】イングラム，ベンジャミン

(72)【発明者】

【氏名】ウェンデル，アンドリアス

(72)【発明者】

【氏名】シャンド，マーク アレクサンダー

【審査官】安井 英己

(56)【参考文献】

【文献】国際公開第２０１８／２１３３３８（ＷＯ，Ａ１）

【文献】特開２０１１－０９９６８３（ＪＰ，Ａ）

【文献】特開２０１６－０２１０７３（ＪＰ，Ａ）

【文献】特開２００４－２６５３９６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／００２１４７４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／００３０７０３（ＵＳ，Ａ１）

【文献】特開２０１７－１２５７９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８－ ７／５１，

Ｇ０１Ｓ １７／００－１７／９５，

Ｇ０３Ｂ １５／００，

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

車両に結合された光検知測距（ＬＩＤＡＲ）センサによって取得されたＬＩＤＡＲデータを受信することであって、前記ＬＩＤＡＲセンサが、軸を中心とした前記ＬＩＤＡＲセンサの回転に基づいて前記車両の環境を走査し、前記ＬＩＤＡＲデータが、前記車両の前記環境内の１つまたは複数のオブジェクトまでの距離を示す複数のＬＩＤＡＲデータポイントを含むことと、
前記車両に結合された１つまたは複数のカメラによって取得された前記車両の前記環境を示す画像データを受信することであって、前記１つまたは複数のカメラが、前記ＬＩＤＡＲセンサの前記回転と連係したローリングシャッターモードで動作し、前記画像データが、複数の画像画素を含むことと、
前記複数の画像画素のうちの１つまたは複数の画像画素の検知時間を決定することと、
前記複数のＬＩＤＡＲデータポイントのうちの１つまたは複数のＬＩＤＡＲデータポイントの検知時間を決定することと、
前記画像データと前記ＬＩＤＡＲデータを組み合わせることであって、前記１つまたは複数の画像画素の前記検知時間が前記１つまたは複数のＬＩＤＡＲデータポイントの前記検知時間の閾値内であることに基づいて、前記１つまたは複数の画像画素を前記１つまたは複数のＬＩＤＡＲデータポイントと関連付けることを含む、ことと
を含む、方法。

【請求項2】

前記１つまたは複数のカメラが、感知素子の複数の行を含み、感知素子の各行が、前記ＬＩＤＡＲセンサの前記軸と整列し、前記１つまたは複数のカメラが、感知素子の各行がそれぞれの露出時間中にそれぞれのＦＯＶにおいて光を感知するように、前記ローリングシャッターモードで操作される、請求項１に記載の方法。

【請求項3】

前記軸を中心として前記ＬＩＤＡＲセンサが回転するときに、感知素子の各所与の行の前記露出時間中に前記ＬＩＤＡＲセンサの視野（ＦＯＶ）が感知素子の前記所与の行の前記ＦＯＶと少なくとも部分的に重なるように、前記ローリングシャッターモードが前記ＬＩＤＡＲセンサの前記回転と連係する、請求項２に記載の方法。

【請求項4】

前記画像データと前記ＬＩＤＡＲデータを組み合わせることが、
前記ＬＩＤＡＲデータに基づいて、前記複数の画像画素の個々の画像画素に深度値を割り当てることを含む、請求項１に記載の方法。

【請求項5】

前記画像データと前記ＬＩＤＡＲデータを組み合わせることが、
前記画像データに基づいて、前記複数のＬＩＤＡＲデータポイントの個々のＬＩＤＡＲデータポイントに色を割り当てることを含む、請求項１に記載の方法。

【請求項6】

前記複数の画像画素のうちの１つまたは複数の画像画素の感知方向を決定することと、
前記複数のＬＩＤＡＲデータポイントのうちの１つまたは複数のＬＩＤＡＲデータポイントの感知方向を決定することと
をさらに含む、請求項１に記載の方法。

【請求項7】

前記画像データと前記ＬＩＤＡＲデータを組み合わせることが、
前記１つまたは複数の画像画素の前記感知方向が前記１つまたは複数のＬＩＤＡＲデータポイントの前記感知方向と一致することに基づいて、前記１つまたは複数の画像画素を前記１つまたは複数のＬＩＤＡＲデータポイントと関連付けることを含む、請求項６に記載の方法。

【請求項8】

前記画像データと前記ＬＩＤＡＲデータを組み合わせることが、
前記環境内の１つまたは複数のオブジェクトまでの距離を、前記１つまたは複数のオブジェクトの色と共に示す、前記環境の３次元表現を生成することを含む、請求項１に記載の方法。

【請求項9】

前記画像データと前記ＬＩＤＡＲデータを組み合わせることが、
前記複数のＬＩＤＡＲデータポイントの個々のＬＩＤＡＲデータポイントを、前記複数の画像画素の個々の画像画素にマッピングすることを含む、請求項１に記載の方法。

【請求項10】

前記画像データと前記ＬＩＤＡＲデータを組み合わせることが、
前記複数の画像画素の個々の画像画素を、前記複数のＬＩＤＡＲデータポイントの個々のＬＩＤＡＲデータポイントにマッピングすることを含む、請求項１に記載の方法。

【請求項11】

前記画像データと前記ＬＩＤＡＲデータを組み合わせることが、
前記複数のＬＩＤＡＲデータポイントの個々のＬＩＤＡＲデータポイントを、前記環境の３次元表現にマッピングすることと、
前記複数の画像画素の個々の画像画素を、前記環境の前記３次元表現にマッピングすることと
を含む、請求項１に記載の方法。

【請求項12】

非一時的なコンピュータ可読媒体であって、コンピューティング装置によって実行可能で前記コンピューティング装置に操作を実行させる命令を格納し、前記操作が、
車両に結合された光検知測距（ＬＩＤＡＲ）センサによって取得されたＬＩＤＡＲデータを受信することであって、前記ＬＩＤＡＲセンサが、軸を中心とした前記ＬＩＤＡＲセンサの回転に基づいて前記車両の環境を走査し、前記ＬＩＤＡＲデータが、前記車両の前記環境内の１つまたは複数のオブジェクトまでの距離を示す複数のＬＩＤＡＲデータポイントを含むことと、
前記車両に結合された１つまたは複数のカメラによって取得された前記車両の前記環境を示す画像データを受信することであって、前記１つまたは複数のカメラが、前記ＬＩＤＡＲセンサの前記回転と連係したローリングシャッターモードで動作し、前記画像データが、複数の画像画素を含むことと、
前記複数の画像画素のうちの１つまたは複数の画像画素の検知時間を決定することと、
前記複数のＬＩＤＡＲデータポイントのうちの１つまたは複数のＬＩＤＡＲデータポイントの検知時間を決定することと、
前記画像データと前記ＬＩＤＡＲデータを組み合わせることであって、前記１つまたは複数の画像画素の前記検知時間が前記１つまたは複数のＬＩＤＡＲデータポイントの前記検知時間の閾値内であることに基づいて、前記１つまたは複数の画像画素を前記１つまたは複数のＬＩＤＡＲデータポイントと関連付けることを含む、ことと
を含む、非一時的なコンピュータ可読媒体。

【請求項13】

前記１つまたは複数のカメラが、感知素子の複数の行を含み、感知素子の各行が、前記ＬＩＤＡＲセンサの前記軸と整列し、前記１つまたは複数のカメラが、感知素子の各行がそれぞれの露出時間中にそれぞれのＦＯＶにおいて光を感知するように、前記ローリングシャッターモードで操作される、請求項１２に記載の非一時的なコンピュータ可読媒体。

【請求項14】

前記軸を中心として前記ＬＩＤＡＲセンサが回転するときに、感知素子の各所与の行の前記露出時間中に前記ＬＩＤＡＲセンサの視野（ＦＯＶ）が感知素子の前記所与の行の前記ＦＯＶと少なくとも部分的に重なるように、前記ローリングシャッターモードが前記ＬＩＤＡＲセンサの前記回転と連係する、請求項１３に記載の非一時的なコンピュータ可読媒体。

【請求項15】

前記画像データと前記ＬＩＤＡＲデータを組み合わせることが、
前記ＬＩＤＡＲデータに基づいて、前記複数の画像画素の個々の画像画素に深度値を割り当てることを含む、請求項１２に記載の非一時的なコンピュータ可読媒体。

【請求項16】

前記画像データと前記ＬＩＤＡＲデータを組み合わせることが、
前記画像データに基づいて、前記複数のＬＩＤＡＲデータポイントの個々のＬＩＤＡＲデータポイントに色を割り当てることを含む、請求項１２に記載の非一時的なコンピュータ可読媒体。

【請求項17】

車両に結合された光検知測距（ＬＩＤＡＲ）センサであって、前記ＬＩＤＡＲセンサが、軸を中心とした前記ＬＩＤＡＲセンサの回転に基づいて前記車両の環境を走査し、それによってＬＩＤＡＲデータを取得するように構成され、前記ＬＩＤＡＲデータが、前記車両の前記環境内の１つまたは複数のオブジェクトまでの距離を示す複数のＬＩＤＡＲデータポイントを含む、ＬＩＤＡＲセンサと、
前記車両に結合された１つまたは複数のカメラであって、前記１つまたは複数のカメラが、前記車両の前記環境を示す画像データを取得するように構成され、前記画像データが、複数の画像画素を含み、前記１つまたは複数のカメラが、前記ＬＩＤＡＲセンサの前記回転と連係したローリングシャッターモードで動作する、１つまたは複数のカメラと、
コントローラであって、前記ＬＩＤＡＲセンサから前記ＬＩＤＡＲデータを受信し、前記１つまたは複数のカメラから前記画像データを受信し、前記複数の画像画素のうちの１つまたは複数の画像画素の検知時間を決定し、前記複数のＬＩＤＡＲデータポイントのうちの１つまたは複数のＬＩＤＡＲデータポイントの検知時間を決定し、前記１つまたは複数の画像画素の前記検知時間が前記１つまたは複数のＬＩＤＡＲデータポイントの前記検知時間の閾値内であることに基づいて、前記１つまたは複数の画像画素を前記１つまたは複数のＬＩＤＡＲデータポイントと関連付けるように前記画像データと前記ＬＩＤＡＲデータを組み合わせるように構成される、コントローラと
を含む、システム。

【請求項18】

前記１つまたは複数のカメラが、感知素子の複数の行を含み、感知素子の各行が、前記ＬＩＤＡＲセンサの前記軸と整列し、前記１つまたは複数のカメラが、感知素子の各行がそれぞれの露出時間中にそれぞれのＦＯＶにおいて光を感知するように、前記ローリングシャッターモードで操作され、前記軸を中心として前記ＬＩＤＡＲセンサが回転するときに、感知素子の各所与の行の前記露出時間中に前記ＬＩＤＡＲセンサの視野（ＦＯＶ）が感知素子の前記所与の行の前記ＦＯＶと少なくとも部分的に重なるように、前記ローリングシャッターモードが前記ＬＩＤＡＲセンサの前記回転と連係する、請求項１７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
この出願は、２０１７年９月２８日に出願された米国特許出願第１５／７１９，３６６号の優先権を主張し、該米国特許出願は、その全体が参照により本明細書に組み込まれる。

【背景技術】

【0002】

数ある中でも、光検知測距（ＬＩＤＡＲ）センサ、無線検知測距（ＲＡＤＡＲ）センサ、および音声ナビゲーション測距（ＳＯＮＡＲ）センサなどのアクティブセンサは、環境に向けて信号を放出し、放出された信号の反射を検知することにより、環境を走査できる。とりわけ画像センサおよびマイクロフォンなどのパッシブセンサは、環境内の発生源から発生する信号を検知できる。

【0003】

例示的なＬＩＤＡＲセンサは、シーン全体を走査して反射面を示す「ポイントクラウド」を組み立てながら、環境特徴までの距離を判定できる。ポイントクラウドの個々の点は、例えば、レーザーパルスを送信し、環境内のオブジェクトから反射された戻りパルスがあればそれを検知し、次いで、パルスの送信とその反射の受信との間の時間遅延によりオブジェクトまでの距離を判定することによって判定できる。このようにして、環境内の反射特徴の位置を示す点の３次元マップが生成され得る。

【0004】

例示的な画像センサは、画像センサから見えるシーンの画像を撮像することができる。例えば、画像センサは、相補型金属酸化膜半導体（ＣＭＯＳ）アクティブ画素センサのアレイ、または他のタイプの光センサを含み得る。各ＣＭＯＳセンサは、アレイに入射するシーンから光の一部を受光することができる。次に、各ＣＭＯＳセンサは、ＣＭＯＳセンサがシーンからの光にさらされている露出時間中に、ＣＭＯＳセンサに入射する光の量の測定値を出力する。この配置により、シーンの画像を生成することができ、画像の各画素は、ＣＭＯＳセンサのアレイからの出力に基づく１つまたは複数の値（例えば、色など）を示す。

【発明の概要】

【0005】

一例では、システムは、送信機および受信機を含む光検知測距（ＬＩＤＡＲ）センサを含む。送信機はＬＩＤＡＲセンサの環境に向けて光パルスを放出する。受信機は、放出された光パルスの反射を検知する。ＬＩＤＡＲセンサは、軸を中心としたＬＩＤＡＲセンサの回転に基づいて環境を走査する。システムはまた、１つまたは複数の外部光源から発生する外部光を検知する１つまたは複数のカメラを含む。１つまたは複数のカメラは一緒になって、感知素子の複数の行を提供する。感知素子の各行は、ＬＩＤＡＲセンサの回転軸と整列している。システムはまた、１つまたは複数のカメラを操作して画像画素行のシーケンスを取得するコントローラを含む。シーケンスの第１の画像画素行は、第１の露出時間中の感知素子の第１の行による外部光の測定を示す。シーケンス内の第２の画像画素行は、第２の露出時間中の第２の行の感知素子による外部光の測定値を示す。

【0006】

別の例では、装置は、複数の光ビームを放出し、ＬＩＤＡＲセンサの指向方向によって定義される視野（ＦＯＶ）に向かって複数の光ビームを方向付ける光検知測距（ＬＩＤＡＲ）センサを含み、放出された光ビームの反射を検知する。装置はまた、１つまたは複数の外部光源から発生する外部光を検知する画像センサを含む。画像センサは、感知素子の隣接する行のアレイを備える。アレイ内の感知素子の所与の行は、ＬＩＤＡＲセンサの所与の指向方向に関して、ＬＩＤＡＲセンサによって方向付けられた所与の光ビームの配置に従って配置される。装置には、ＬＩＤＡＲセンサの指向方向を調整するために、ＬＩＤＡＲセンサを、軸を中心に回転させるアクチュエータも含まれている。ＬＩＤＡＲセンサによって放出された複数の光ビームの配置は、少なくとも指向方向の調整に基づいている。装置はまた、少なくともＬＩＤＡＲセンサによって放出された複数の光ビームの配置に基づく特定の順序で画像画素のシーケンスを取得するために画像センサを操作するコントローラを含む。画像画素のシーケンスは、外部光への、それぞれの感知素子のそれぞれの露出時間に従う、アレイ内のそれぞれの感知素子による測定を示す。それぞれの露出時間は、少なくとも特定の順序に基づいている。

【0007】

さらに別の例では、方法は、光検知測距（ＬＩＤＡＲ）センサを、軸を中心に回転させて、ＬＩＤＡＲセンサの環境を走査することを含む。ＬＩＤＡＲセンサは環境に向けて光パルスを放出し、放出された光パルスの反射を検知する。本方法はまた、１つまたは複数の外部光源から発生する外部光を検知する１つまたは複数のカメラを使用して画像画素行のシーケンスを取得することを含む。１つまたは複数のカメラは一緒になって、感知素子の複数の行を提供する。感知素子の各行は、ＬＩＤＡＲセンサの回転軸と整列している。シーケンスの第１の画像画素行は、第１の露出時間中の感知素子の第１の行による外部光の測定を示す。シーケンスの第２の画像画素行は、第２の露出時間中の感知素子の第２の行による外部光の測定値を示す。

【0008】

さらに別の例では、システムは、光検知測距（ＬＩＤＡＲ）センサを、軸を中心に回転させて、ＬＩＤＡＲセンサの環境を走査する手段を含む。ＬＩＤＡＲセンサは環境に向けて光パルスを放出し、放出された光パルスの反射を検知する。システムはまた、１つまたは複数の外部光源から発生する外部光を検知する１つまたは複数のカメラを使用して画像画素行のシーケンスを取得するための手段を含む。１つまたは複数のカメラは一緒になって、感知素子の複数の行を提供する。感知素子の各行は、ＬＩＤＡＲセンサの回転軸と整列している。シーケンスの第１の画像画素行は、第１の露出時間中の感知素子の第１の行による外部光の測定を示す。シーケンスの第２の画像画素行は、第２の露出時間中の感知素子の第２の行による外部光の測定値を示す。

【0009】

これらの態様ならびに他の態様、利点、および代替物は、当業者には、以下の詳細な説明を添付の図面を適宜参照して読み取ることにより明らかになるであろう。さらに、この概要セクションおよびこの文書の他の場所で提供される説明は、限定ではなく例として請求される主題を例示すことを意図していることを理解されたい。

【図面の簡単な説明】

【0010】

【図1】例示的な実施形態による、システムの簡略化されたブロック図である。

【図2A】例示的な実施形態による、回転ＬＩＤＡＲセンサおよびローリングシャッターカメラ配置を含む装置を示す。

【図2B】図２Ａのローリングシャッターカメラ配置の断面図である。

【図2C】図２Ａの装置の操作の概念図である。

【図2D】図２Ａの装置の上面図を示す。

【図2E】図２Ａの装置の別の上面図を示す。

【図3】例示的な実施形態による、別のローリングシャッターカメラ配置の断面図を示す。

【図4】例示的な実施形態による方法のフローチャートである。

【発明を実施するための形態】

【0011】

本明細書では、例示的な実装について説明する。「例示的」という単語は、本明細書では「例、事例、または例証としての役割を果たす」ことを意味するために使用されることを理解されたい。本明細書で「例示的（ｅｘｅｍｐｌａｒｙ）」または「例示的（ｉｌｌｕｓｔｒａｔｉｖｅ）」として説明される実装または機能は、他の実装または機能よりも好ましいまたは有利であると必ずしも解釈されるべきではない。図では、特に文脈によって説明しない限り、同様の記号は通常、同様の構成素子を指している。本明細書において説明される例示的な実施形態は、限定することを意図していない。本明細書に概して説明され、図面に例示される本開示の態様が、多種多様な異なる構成で配置し、置き換え、組み合わせ、分離し、および設計することができることが、本明細書において容易に理解される。
Ｉ．概要

【0012】

センサフュージョンアルゴリズムを使用して、例えば、画像センサおよびＬＩＤＡＲセンサなどの複数のセンサからのデータをマージし、走査された環境の表現を生成できる。例えば、走査された環境の３Ｄ表現は、ＬＩＤＡＲセンサを使用して判定された他の情報（例えば、距離、深度、強度、テクスチャ、反射光パルス長など）と組み合わされた画像センサを使用して判定された色情報を示す。

【0013】

本明細書に記載の例示的な装置、システム、および方法は、周囲環境を感知する２つ以上のセンサの空間的および／または時間的同期に関する。１つの例示的な装置は、回転ＬＩＤＡＲセンサおよび１つまたは複数のカメラを含み得る。１つまたは複数のカメラは、一緒になって、画像感知素子の隣接する行のアレイを提供することができる。アレイの行は、ＬＩＤＡＲセンサの回転軸と整列させる（例えば、実質的に平行である）ことができる。例えば、ＬＩＤＡＲセンサが垂直軸を中心に回転する場合、感知素子の各行は、ＬＩＤＡＲセンサの垂直軸に平行な感知素子の垂直線として配置できる。

【0014】

この配置により、例えば、装置は、（ｉ）１つまたは複数のカメラによって撮像された画像画素および（ｉｉ）ＬＩＤＡＲセンサによって検知された反射光パルスに関連するタイミングおよび視線方向の同期を改善することができる。

【0015】

例として、ＬＩＤＡＲセンサは、実質的に垂直である回転軸を有し得、ＬＩＤＡＲセンサが回転するときに繰り返し垂直パターンで（例えば、ＬＩＤＡＲセンサの回転軸に平行に）光パルスを放出するように構成され得る。垂直パターンで放出された光パルスは、ＬＩＤＡＲセンサの回転速度と比較して非常に迅速に放出される。したがって、この例では、垂直方向は、ＬＩＤＡＲセンサの「速軸」として説明することができ、ＬＩＤＡＲセンサの水平回転方向は、ＬＩＤＡＲセンサの「遅軸」として説明することができる。ＬＩＤＡＲセンサの速軸は、例えば、ＬＩＤＡＲセンサを使用して生成されたデータポイントクラウドにおける垂直方向に対応し得、ＬＩＤＡＲセンサの遅軸は、例えば、データポイントクラウドにおける水平方向に対応し得る。

【0016】

装置のコントローラは、１つまたは複数のカメラを操作して、ＬＩＤＡＲセンサが光パルスを放出（および検知）する順序と同様の順序で画像画素のシーケンスを取得できる。例えば、シーケンスの画像画素の第１のラインは、アレイの感知素子の第１の行（例えば、垂直行）を、光パルスがＬＩＤＡＲセンサによって放出されるのと同様の順序で測定され得る。シーケンスの画像画素の（第１のラインに続く）第２のラインは、アレイ内の感知素子の隣接する垂直行を使用して測定することができ、以下同様である。

【0017】

シーケンスの画像画素の各ラインは、アレイ内の感知素子のそれぞれの行のそれぞれの露出時間に従って測定することができる。例えば、画像画素の第１のラインは、第１の露出時間中に感知素子の第１の行に入射する外部光の量を示し得、画像画素の第２の後続のラインは、（第１の露出時間の開始後に開始する）第２の露出時間中に第２の（隣接する）感知素子の行に入射する外部光の量を示し得る。いくつかの実施形態では、第２の露出時間は、第１の露出時間が開始した後であるが、第１の露出時間が終了する前に開始することができる。あるいは、他の実施形態では、第２の露出時間は、第１の露出時間が終了した後に開始することができる。

【0018】

このプロセスを通じて、１つまたは複数のカメラの「速軸」は、ＬＩＤＡＲセンサの速軸に対応し得、１つまたは複数のカメラの「遅軸」は、ＬＩＤＡＲセンサの遅軸に対応し得る。例えば、例示的な装置に１つまたは複数のカメラを取り付ける場合、カメラ（複数可）は、次々に測定されるセンサ素子の行（つまり、カメラ（複数可）の速軸）がＬＩＤＡＲセンサの回転軸（つまり、ＬＩＤＡＲセンサの速軸）に平行になるまで、ＬＩＤＡＲセンサに対して物理的に（例えば、水平配向から垂直配向になど）回転させることができる。

【0019】

いくつかの実施形態では、装置のコントローラは、１つまたは複数のカメラを操作して、コントローラによって提供されるタイミング構成に従って画像画素のシーケンスを取得することができる。タイミング構成は、例えば、ＬＩＤＡＲセンサの回転軸を中心としたＬＩＤＡＲセンサの配向（例えば、視線方向、指向方向、角度位置など）に基づくことができる。

【0020】

例えば、コントローラは、ＬＩＤＡＲセンサの現在のＦＯＶ付近か、またはそれに（少なくとも部分的に）重なる視野（ＦＯＶ）を画像化する画像感知素子の行を使用して測定された画像画素を取得することができる。例えば、画像感知素子の行は、環境の特定の領域からの外部光を検知するように構成され得る。画像画素の収集をＬＩＤＡＲデータの収集と同期させるために、装置は、ＬＩＤＡＲセンサがまた環境の特定の領域を走査している（例えば、回転ＬＩＤＡＲのＦＯＶが環境の特定の領域と重なる）時間を含む露出時間中に、感知素子の行を外部光にさらし得る。そうすることにより、例えば、装置は、画像画素のシーケンスを、類似の時間フレームの間および類似の視線方向からＬＩＤＡＲセンサによって検知された対応する光パルス反射と一致させる可能性を改善することができる。

【0021】

このプロセスにより、ＬＩＤＡＲセンサおよびカメラ（複数可）からのセンサデータをより効果的に組み合わせることができる。より一般的には、本明細書に記載の例示的な実装は、時間領域および／または空間領域で２つ（以上）のセンサのセンサデータ収集操作を同期させることにより、２つ（以上）のセンサからのセンサデータを組み合わせることに関する、精度および／または効率を改善し得る。
ＩＩ．センサの例

【0022】

本明細書で説明される例示的なセンサは、ＬＩＤＡＲセンサおよびカメラ（または画像センサ）を含むが、他のタイプのセンサも同様に可能である。本開示の範囲から逸脱することなく本明細書で代替的に使用することができる例示的なセンサの非網羅的なリストは、ＲＡＤＡＲセンサ、ＳＯＮＡＲセンサ、音センサ（例えば、マイクロフォンなど）、運動センサ、温度センサ、圧力センサなどを含む。

【0023】

そのために、本明細書に記載の例示的なセンサは、センサに提供される変調電力に基づいて信号（例えば、パルスまたは任意の他の変調信号のシーケンス）を放出し、次に周囲環境のオブジェクトから放出された信号の反射を検知するアクティブなセンサを含み得る。代替的に、または追加的に、本明細書に記載の例示的なセンサは、環境内の外部ソース（複数可）から発生する外部信号（例えば、バックグラウンド信号など）を検知するパッシブセンサ（例えば、カメラ、マイクロフォン、アンテナ、圧力センサなど）を含み得る。

【0024】

次に図を参照すると、図１は、例示的な実施形態による、同期されたセンサを含むシステム１００の簡略化されたブロック図である。図示のように、システム１００は、電源装置１０２、コントローラ１０４、１つまたは複数のセンサ１０６、１つまたは複数のセンサ１０８、回転プラットフォーム１１０、１つまたは複数のアクチュエータ１１２、静止プラットフォーム１１４、回転リンク１１６、ハウジング１１８、およびディスプレイ１４０を含む。

【0025】

他の実施形態では、システム１００は、より多い、より少ない、または異なる構成素子を含み得る。さらに、示された構成素子は、任意の数の方法で結合または分割することができる。例えば、センサ（複数可）１０８は、単一の物理的構成素子（例えば、カメラリング）として実装され得る。あるいは、例えば、センサ（複数可）１０８は、別個の物理的構成素子の配置として実装することができる。他の例も可能である。したがって、図１の機能ブロックは、説明の便宜のためにのみ示されるように例示されている。本開示の範囲から逸脱することなく、他の例示的な構成素子、配置、および／または構成も可能である。

【0026】

電源装置１０２は、システム１００の様々な構成素子に電力を供給、受信、および／または分配するように構成され得る。そのために、電源装置１０２は、システム１００内に配設され、任意の実現可能な方法でシステム１００の様々な構成素子に接続されて、それらの構成素子に電力を供給するための電源（例えば、バッテリーセルなど）を含むか、そうでなければその形態をとり得る。追加的に、または代替的に、電源装置１０２は、（例えば、システム１００が取り付けられている車両に配置された電源からなど）１つまたは複数の外部電源から電力を受け、受けた電力をシステム１００の様々な構成素子に送信するように構成された電源アダプタを含むか、そうでなければその形態をとり得る。

【0027】

コントローラ１０４は、システム１００の特定の操作を容易にするように構成された１つまたは複数の電子構成素子および／またはシステムを含み得る。コントローラ１０４は、任意の実現可能な方法でシステム１００内に配設することができる。一実施形態では、コントローラ１０４は、少なくとも部分的に、回転リンク１１６の中央空洞領域内に配設されてもよい。別の実施形態では、コントローラ１０４の１つまたは複数の機能は、システム１００のそれぞれの構成素子（例えば、センサ（複数可）１０６、１０８など）内にそれぞれ配設される１つまたは複数の物理的に別個のコントローラによって代替的に実行できる。

【0028】

いくつかの例では、コントローラ１０４は、システム１００の様々な構成素子への制御信号の転送および／またはシステム１００の様々な構成素子からコントローラ１０４へのデータの転送に使用される配線を含むか、そうでなければそれに結合され得る。一般に、コントローラ１０４が受信するデータは、数ある可能性の中でもとりわけ、ＬＩＤＡＲ１０６および／またはカメラ（複数可）１０８による光の検知に基づくセンサデータを含み得る。さらに、コントローラ１０４によって送信された制御信号は、センサ（複数可）１０６（例えば、ＬＩＤＡＲなど）による光または他の信号の放出および／または検知を制御し、（例えば、センサ（複数可）１０８に含まれる）カメラを介して画像画素撮像速度または時間を制御し、かつ／または、数ある可能性の中でもとりわけ、回転プラットフォーム１１０を回転させるためにアクチュエータ（複数可）１１２を制御することなどによって、システム１００の様々な構成素子を操作することができる。

【0029】

そのために、いくつかの例では、コントローラ１０４は、１つまたは複数のプロセッサ、データストレージ、および１つまたは複数のプロセッサによって実行可能な（データストレージに格納された）プログラム命令を含み得、システム１００に本明細書に記載の様々な操作を実行させることができる。場合によっては、コントローラ１０４は、外部コントローラとシステム１００の様々な構成素子との間の制御信号および／またはデータの転送を容易にするのに役立つように、外部コントローラなど（例えば、車両、ロボット、またはシステム１００が取り付けられる他の機械装置に配置されたコンピューティングシステム）と通信することができる。

【0030】

追加的に、または代替的に、いくつかの例では、コントローラ１０４は、本明細書で説明される様々な機能を実行するように配線された回路を含み得る。追加的に、または代替的に、いくつかの例では、コントローラ１０４は、１つまたは複数の専用プロセッサ、サーボ、または他のタイプのコントローラを含み得る。例えば、コントローラ１０４は、特定の周波数または位相に従って回転プラットフォーム１１０の回転を変調するようにアクチュエータ（複数可）１１２を操作する比例積分微分（ＰＩＤ）コントローラまたは他の制御ループフィードバック装置を含み得る。他の例も可能である。

【0031】

センサ１０６および１０８は、システム１００の周囲環境を走査する、ＬＩＤＡＲ、カメラ、ジャイロスコープ、加速度計、エンコーダー、マイクロフォン、ＲＡＤＡＲ、ＳＯＮＡＲ、温度計などの１つまたは複数のセンサを任意に含むことができる。

【0032】

センサ（複数可）１０６は、信号を放出し、放出された信号の反射を検知することによって周囲環境を走査するように構成された任意の装置を含み得る。例えば、センサ（複数可）１０６は、任意のタイプのアクティブセンサを含み得る。そのために、図示のように、センサ１０６は、送信機１２０および受信機１２２を含む。いくつかの実施形態では、センサ１０６はまた、１つまたは複数の光学素子１２４を含み得る。

【0033】

送信機１２０は、システム１００の環境に向けて信号を送信するように構成され得る。

【0034】

センサ１０６がＬＩＤＡＲセンサとして構成される第１の例では、送信機１２０は、波長範囲内の波長を有する１つまたは複数の光ビームおよび／またはパルスを放出する１つまたは複数の光源（図示せず）を含み得る。波長範囲は、例えば、光源の構成に応じて、電磁スペクトルの紫外、可視、および／または赤外部分にあってもよい。いくつかの例では、波長範囲は、レーザーおよび／またはいくつかの発光ダイオードによって提供されるような、狭い波長範囲であり得る。いくつかの例では、送信機１２０の光源（複数可）は、レーザーダイオード、ダイオードバー、発光ダイオード（ＬＥＤ）、垂直キャビティ面発光レーザー（ＶＣＳＥＬ）、有機発光ダイオード（ＯＬＥＤ）、ポリマー発光ダイオード（ＰＬＥＤ）、発光ポリマー（ＬＥＰ）、液晶ディスプレイ（ＬＣＤ）、微小電気機械システム（ＭＥＭＳ）、ファイバーレーザー、および／または選択的に光を送信し、反射し、かつ／または放出して、複数の放出された光ビームおよび／またはパルスを提供するように構成された任意の他の装置を含んでもよい。

【0035】

センサ１０６がアクティブ赤外線（ＩＲ）カメラとして構成される第２の例では、送信機１２０は、シーンを照らすためにＩＲ放射を放出するように構成され得る。そのために、送信機１２０は、ＩＲ放射を提供するように構成された任意のタイプの装置（例えば、光源など）を含み得る。

【0036】

センサ１０６がＲＡＤＡＲセンサとして構成される第３の例では、送信機１２０は、変調された無線周波数（ＲＦ）信号をシステム１００の環境に向けて放出するように構成される１つまたは複数のアンテナを含み得る。

【0037】

センサ１０６がＳＯＮＡＲセンサとして構成される第４の例では、送信機１２０は、変調された音信号をシステム１００の周囲環境に向けて放出するように構成される、圧電トランスデューサ、磁歪トランスデューサ、静電トランスデューサなどの１つまたは複数の音響トランスデューサを含み得る。いくつかの実施形態では、音響トランスデューサは、特定の波長範囲内（例えば、超音波（ｉｎｆｒａｓｏｎｉｃ）、超音波（ｕｌｔｒａｓｏｎｉｃ）など）で音信号を発するように構成することができる。他の例も可能である。

【0038】

受信機１２２は、送信機１２０によって放出された信号の反射を検知するように構成された１つまたは複数の検知器を含み得る。

【0039】

センサ１０６がＲＡＤＡＲセンサとして構成される第１の例では、受信機１２２は、送信機１２０によって送信されたＲＦ信号の反射を検知するように構成された１つまたは複数のアンテナを含み得る。そのために、いくつかの実施形態では、送信機１２０および受信機１２２の１つまたは複数のアンテナは、同じ物理アンテナ構造として物理的に実装することができる。

【0040】

センサ１０６がＳＯＮＡＲセンサとして構成される第２の例では、受信機１２２は、送信機１２０によって放出される音信号の反射を検知するように構成される１つまたは複数の音センサ（例えば、マイクロフォンロホンなど）を含み得る。

【0041】

センサ１０６がアクティブＩＲカメラとして構成される第３の例では、受信機１２２は、送信機１２０によって送信され、シーンから受信機１２２に向けて反射するＩＲ光の光源波長を検知するように構成される１つまたは複数の光検知器（例えば、アクティブ画素センサなど）を含み得る。

【0042】

センサ１０６がＬＩＤＡＲセンサとして構成される第４の例では、受信機１２２は、送信機１２０によって放出され、システム１００の周囲環境の１つまたは複数のオブジェクトから反射する光パルスの反射を遮断し、かつ検知するように配置される１つまたは複数の光検知器（例えば、フォトダイオード、アバランシェフォトダイオードなど）を含み得る。そのために、受信機１２２は、送信機１２０によって放出された光と同じ波長範囲の波長を有する光を検知するように構成され得る。このようにして、例えば、センサ１０６（例えば、ＬＩＤＡＲ）は、送信機１２０によって発生する反射光パルスを、環境内の外部光源から発生する他の光から区別することができる。

【0043】

場合によっては、受信機１２２は、（例えば、送信機１２０によって放出される光の波長範囲内の）検知光を、検知光を示す電気信号に変換するようにそれぞれ構成される、１つまたは複数の検知器を含み得る光検知器アレイを含み得る。実際には、そのような光検知器アレイは、様々な方法のうちの１つで配置することができる。例えば、検知器は、１つまたは複数の基板（例えば、プリント回路基板（ＰＣＢ）、フレキシブルＰＣＢなど）上に配設され、入射光を検知するように配置され得る。また、そのような光検知器アレイは、任意の実行可能な方法で整列された任意の実行可能な数の検知器を含むことができる。さらに、アレイ内の検知器は様々な形をとることができる。例えば、検知器は、フォトダイオード、アバランシェフォトダイオード（例えば、ガイガーモードおよび／または線形モードアバランシェフォトダイオード）、シリコン光電子増倍管（ＳｉＰＭ）、フォトトランジスター、カメラ、アクティブ画素センサ（ＡＰＳ）、電荷結合素子（ＣＣＤ）、極低温検知器、および／または放出された光の波長範囲内の波長を有する集束された光を受光するように構成された任意の他の光センサの形をとることができる。

【0044】

いくつかの実施形態では、（例えば、ＬＩＤＡＲ構成の）センサ１０６は、ＬＩＤＡＲの回転速度を変更し、かつ／または送信機１２０によって放出される光パルスのパルス速度を調整することによって、水平走査分解能を選択するか、または調整することができる。具体的な例として、送信機１２０は、毎秒１５，６５０光パルスのパルス速度で光パルスを放出するように構成することができる。この例では、ＬＩＤＡＲ１０６は、１０Ｈｚ（すなわち、毎秒１０回の完全な３６０°回転）で回転するように構成されてもよい。したがって、受信機１２２は、０．２３°の水平角度分解能で光を検知することができる。さらに、０．２３°の水平角分解能は、ＬＩＤＡＲ１０６の回転速度を変更するか、またはパルス速度を調整することによって調整することができる。例えば、ＬＩＤＡＲ１０６が代わりに２０Ｈｚで回転する場合、水平角分解能は０．４６°であってもよい。あるいは、送信機１２０が１０Ｈｚの回転速度を維持しながら毎秒３１，３００光パルスの速度で光パルスを放出する場合、水平角分解能は０．１１５°になってもよい。他の例も可能である。さらに、いくつかの例では、ＬＩＤＡＲ１０６は、ＬＩＤＡＲ１０６の完全な３６０°回転未満で特定の範囲の視野を走査するように代替的に構成することができる。

【0045】

光学素子（複数可）１２４は、送信機１２０および／または受信機１２２に任意に含まれるか、または他の方法で結合され得る。一例（例えば、センサ１０６がＬＩＤＡＲセンサを含む場合）では、光学素子（複数可）１２４は、送信機１２０内の光源からの光を環境に方向付けるように配置することができる。別の例では、光学素子（複数可）１２４は、環境からの光を集束し、かつ／または受信機１２２に導くように配置することができる。したがって、光学素子（複数可）１２４は、ミラー（複数可）、導波路（複数可）、光フィルタ、レンズ（複数可）、または物理的空間を通る光の伝搬を導き、かつ／または特定の照明特性を調整するように配置された他の任意の光学構成素子の任意の実現可能な組み合わせを含むことができる。例えば、光学素子１２４は、送信機１２０によって放出された光の波長範囲外の波長を有する光が受信機１２２に向かって伝搬するのを低減するか、または防止するように配置された光フィルタを含み得る。例えば、このような構成では、光フィルタは、走査環境から伝搬し、送信機１２０の光源とは異なる外部光源から発生する背景光によるノイズを低減することができる。

【0046】

センサ（複数可）１０８は、周囲環境を走査するように構成された任意のタイプのセンサを含み得る。図示のように、センサ１０８は、感知素子１２８のアレイを含む。さらに、図示のように、センサ１０８は、１つまたは複数の光学素子１３０を任意に含むことができる。

【0047】

いくつかの例では、センサ１０８は、信号を送信し、その反射を検知するアクティブセンサ（例えば、ＬＩＤＡＲ、ＲＡＤＡＲ、ＳＯＮＡＲなど）を含み得る。したがって、図示されていないが、センサ１０８は、それぞれ送信機１２０および受信機１２２と同様の送信機および受信機を含み得る。他の例では、センサ（複数可）１０８は、１つまたは複数の外部ソースから発生する外部信号を検知するパッシブセンサ（例えば、マイクロフォン、カメラ、画像センサ、温度計など）を含むことができる。

【0048】

センサ１０８が音センサとして構成される第１の例では、感知素子１２８は、アレイ内のそれぞれのマイクロフォンに入射する音（例えば、外部信号）をそれぞれ検知するマイクロフォンのアレイを含み得る。

【0049】

センサ（複数可）１０８が１つまたは複数のカメラとして構成される第２の例では、カメラ（複数可）は、システム１００が位置する環境の画像を撮像するように構成された任意のカメラ（例えば、スチルカメラ、ビデオカメラなど）を含むことができる。例えば、センサ１０８のカメラは、画像を示すデータを検知して提供する任意の画像化装置を含み得る。例えば、感知素子１２８は、それぞれに入射する光の測定値を提供する光感知素子の１つまたは複数の配置を含み得る。そのために、感知素子１２８は、数ある可能性の中でもとりわけ、電荷結合装置（ＣＣＤ）、アクティブ画素センサ、相補型金属酸化膜半導体（ＣＭＯＳ）光検知器、Ｎ型金属酸化膜半導体（ＮＭＯＳ）光検知器を含み得る。

【0050】

さらに、いくつかの例では、感知素子１２８からのデータは、感知素子１２８の配置に従って組み合わされて、画像を生成することができる。一例では、感知素子の二次元（２Ｄ）アレイからのデータは、画像内の画像画素の２Ｄアレイに対応することがある。別の例では、感知素子の３Ｄ配置（例えば、曲面に沿って配置された感知素子）を同様に使用して、画像内の画像画素の２Ｄアレイを生成することができる。他の例も可能である。

【0051】

いくつかの例では、感知素子は複数の隣接する光検知器（または他のタイプの信号の検知器）を任意に含むことができ、各検知器は特定の波長または波長範囲を有する光（または他の信号）を検知するように構成される。例えば、画像画素は、赤色光の強度を検知する第１の検知器、緑色光の強度を検知する第２の検知器、および青色光の強度を検知する第３の検知器からのデータの組み合わせに基づいて、色情報（例えば、赤／緑／青色またはＲＧＢ）を示し得る。他の例も可能である。

【0052】

一実施形態では、センサ（複数可）１０８は、シーンから伝搬する可視光を検知するように構成され得る。さらに、この実施形態では、センサ１０６の受信機１２２（例えば、ＬＩＤＡＲ受信機）は、送信機１２０によって放出される光の波長範囲内の不可視光（例えば、赤外線など）を検知するように構成され得る。この実施形態では、システム１００（またはコントローラ１０４）は、次に、センサ１０６（例えば、ＬＩＤＡＲ）からのデータをセンサ１０８（例えば、カメラ）からのデータと組み合わせて、走査された環境のカラーの３次元（３Ｄ）表現（例えば、ポイントクラウド）を生成することができる。

【0053】

いくつかの例では、センサ（複数可）１０８は、センサ１０６（例えば、ＬＩＤＡＲ）の回転軸を中心に円形配置で配設された複数のカメラ（例えば、カメラリング）を含み得る。例えば、第１のカメラは、センサ１０６が軸を中心に回転するとき（または、送信機１２０によって送信される信号が、他の方法で軸を中心とした異なる指向方向にステアリングされるとき）、センサ１０６の指向方向の範囲と少なくとも部分的に重なる環境の第１の視野（ＦＯＶ）を画像化するように構成され得る。さらに、第１のカメラに隣接し、かつ／または重なる第２のカメラは、第１のカメラの第１のＦＯＶに隣接する第２のＦＯＶを画像化することができ、以下同様である。このようにして、例えば、システム１００は、センサ１０６が軸を中心に回転するとき、センサ１０６による環境の走査と同時に（かつ／または同期的に）それぞれのＦＯＶの画像のシーケンスを撮像するように構成され得る。

【0054】

いくつかの例では、センサ（複数可）１０８は、ローリングシャッターモードで操作するように構成され得る。

【0055】

センサ（複数可）１０８がマイクロフォンアレイを含む第１の例では、アレイ内のマイクロフォンからの各出力は、センサ１０８に入射する外部音への対応する感知素子（例えば、マイクロフォン）のそれぞれの露出時間に関連付けられ得る。

【0056】

センサ（複数可）１０８が１つまたは複数のカメラを含む第２の例では、カメラ（複数可）によって出力された各画素または画素のグループは、外部光への対応する感知素子または感知素子のグループのそれぞれの露出時間に関連付けられ得る。例として、カメラ（複数可）１０８は一緒に、感知素子１２８の隣接する行のアレイを提供することができる。さらに、カメラ（複数可）１０８は、アレイ内の対応する感知素子による外部光の測定値に対応する画像画素のシーケンスを出力するように構成することができる。例えば、カメラ（複数可）１０８は、アレイ内の感知素子の第１の行からのデータに基づいて画像画素の第１の行を出力し、続いて、アレイ内の感知素子の第２の隣接する行からのデータに基づいて第２の画像画素行を出力してもよく、以下同様である。

【0057】

このようにして、第１の画像画素行は、感知素子の第１の行が光にさらされる第１の露出時間に関連付けられてもよく、第２の画像画素行は、第２の感知素子の隣接する行が光にさらされる第２の露出時間に関連付けられるなどしてもよい。第１の露出時間は、第２の露出時間が開始する前に開始する場合がある。例えば、第１の露出時間の開始時間からの時間遅延の後（および任意には第１の露出時間が経過する前に）、カメラ（複数可）１０８は感知素子の第２の隣接する行の露出を開始することができる。さらに、第１の露出時間は、第２の露出時間が終了する前に終了してもよい。例えば、コントローラ１０４は、第１の露出時間が終了した後、第２の感知素子行が依然として外部光にさらされている間に感知素子の第１の行から出力を読み取り、次に、第２の露出時間が終了した後、第３の行の感知素子が依然として外部光にさらされている間に感知素子の第２の行から出力を読み取ってもよく、以下同様である。

【0058】

いくつかの例では、センサ１０６が画像センサを含む場合、システム１００は、送信機１２０が光パルス（または他の信号）を放出する順序に基づいて、ローリングシャッターモードで感知素子１２８から画像画素のシーケンスが取得される順序を選択するように構成され得る。例えば、感知素子１２８のアレイ内の感知素子の所与の行は、ＬＩＤＡＲ（例えば、センサ１０６）の回転軸と整列（例えば、平行に、など）されてもよい。例えば、ＬＩＤＡＲの回転軸が垂直軸である場合、所与の行は、感知素子の垂直行（例えば、ＬＩＤＡＲの回転軸に平行な垂直線形配置）に対応し得る。さらに、送信機１２０は、ＬＩＤＡＲ（例えば、センサ１０６）が軸を中心に回転するときに、１つまたは複数の垂直線の配置で複数の光ビームを繰り返し出力するように構成されてもよい。したがって、例えば、センサ（複数可）１０８（例えば、カメラ（複数可））は、送信機１２０によって放出された複数の光ビームと同様に（例えば、垂直に、など）配置された感知素子の第１の行を使用して、画像画素の第１の行を出力することができる。次に、カメラ（複数可）１０８は、ＬＩＤＡＲ（または他のセンサ１０６）の回転方向に感知素子の第２の隣接する行を使用して、画像画素の第２の行を出力することができる。したがって、例えば、画像画素の第２の行は、センサ１０６が感知素子の第２の行に向かって回転した後に、送信機１２０によって放出される光ビームの第２の垂直線と整列されてもよく、以下同様である。

【0059】

例えば、感知素子の垂直行を次々に走査することにより、カメラ（複数可）１０８から取得された画像画素のシーケンスは、（例えば、送信機１２０が垂直軸を中心に回転するときに）送信機１２０によって放出されるＬＩＤＡＲ光パルス（または他の信号）の時間および方向に類似した時間で（および視線方向から）撮像された十分な数の画素を含むことができる。例えば、カメラ（複数可）（例えば、センサ（複数可）１０８）が、代わりに、第１の水平方向の感知素子の行と、それに続く第２の水平方向の感知素子などを使用して画像画素のシーケンスを撮像した場合、より少ない画像画素が、ＬＩＤＡＲ光パルスの時間および方向に類似した時間で（および視線方向から）撮像されてもよい。

【0060】

光学素子（複数可）１３０は、レンズ（複数可）、ミラー（複数可）、導波路（複数可）、光フィルタ（複数可）、または、光学素子（複数可）１２４と同様の他の任意のタイプの光学構成素子などの光学構成素子の任意の組み合わせを含むことができる。さらに、光学素子１３０は、感知素子１２８に向かって伝搬するために、入射光の光特性を集束し、方向付け、かつ／または調整するように構成することができる。さらに、例えば、センサ（複数可）１０８が複数のカメラを含む場合、光学素子（複数可）１３０は、外部光をカメラのそれぞれの画像センサに集束させる複数のそれぞれのカメラレンズを含むことができる。

【0061】

いくつかの例では、光学素子（複数可）１３０は、センサ１０６の１つまたは複数の特定の感知素子に向かって光の特定の波長の選択的に送信する１つまたは複数の光フィルタを含むことができる。

【0062】

第１の例では、光学素子（複数可）１３０は、送信機１２０によって放出された光の光波長を減衰させる１つまたは複数の光フィルタを含み得る。この構成により、例えば、システム１００は、送信機１２０によって放出された高強度の光パルス（または他の信号）に関連する（感知素子（複数可）１２８による）ノイズ測定値を低減することができる。

【0063】

第２の例では、センサ１０８は、入射光の色を示すように構成されたカラー画像センサ（例えば、ベイヤーフィルターセンサ、層状画素センサアレイなど）を含み得る。この例では、光学素子（複数可）１３０は、カラーフィルタアレイを含むことができ、アレイの各カラーフィルタは、赤、緑、または青の光を、カラーフィルタに隣接する特定の感知素子に送信する（かつ、他の波長の光を減衰させる）。次に、システム１００は、（例えば、異なる色を有する光を感知する複数の感知素子からの出力を組み合わせることにより）色情報（例えば、赤、緑、および青など）を示す画像画素を生成することができる。

【0064】

第３の例では、光学素子（複数可）１３０は、送信機１２０によって放出される光（または他の信号）の波長を減衰させる１つまたは複数のフィルタおよび、これらの波長の送信を可能にする１つまたは複数の他のフィルタを含み得る。例えば、光学素子（複数可）１３０は、緑、赤、および青の光フィルタを含むカラーフィルタアレイを含み得る。この場合、比較的多数のカラーフィルタを構成して、送信機１２０の放出光の波長を減衰させて、送信機１２０によって放出される高強度信号の影響を低減することができる。さらに、比較的少数のカラーフィルタ（例えば、１つまたは複数の緑色光フィルタなど）は、送信機１２０によって放出された光（または他の信号）の波長の送信を（少なくとも部分的に）可能にするように構成され得る。この構成では、（システム１００の環境でオブジェクトを反射する）送信機１２０の高強度光を使用して、暗い外部光条件（例えば、夜間）で１つまたは複数の感知素子を照らすことができる。

【0065】

回転プラットフォーム１１０は、軸を中心に回転するように構成され得る。例えば、センサ１０６（および／またはその送信機１２０および受信機１２２）は、これらの構成素子のそれぞれが回転プラットフォーム１１０の回転に応答して環境に対して動くように、回転プラットフォーム１１０によって（直接的または間接的に）支持され得る。特に、これらの構成素子のそれぞれは、センサ１０６が様々な方向から情報を取得できるように、軸に対して（同時に）回転され得る。いくつかの例では、回転プラットフォーム１１０の回転軸は垂直であり、センサ１０６の指向方向は、その垂直回転軸を中心とした回転プラットフォーム１１０の回転によって水平に調整することができる。回転プラットフォーム１１０は、その上に取り付けられた１つまたは複数の構成素子（例えば、センサ１０６）を支持するのに適した任意の固体材料から形成することができる。

【0066】

このようにしてプラットフォーム１１０を回転させるために、１つまたは複数のアクチュエータ１１２が回転プラットフォーム１１０を作動させることができる。そのために、アクチュエータ１１２は、数ある可能性の中でもとりわけ、モータ、空気圧アクチュエータ、油圧ピストン、および／または圧電アクチュエータを含み得る。

【0067】

この構成では、コントローラ１０４は、アクチュエータ１１２を操作して、環境に関する情報を取得するように回転プラットフォーム１１０を様々な方法で回転させることができる。一例では、回転プラットフォーム１１０は、いずれかの方向に回転させることができる。別の例では、回転プラットフォーム１１０は、センサ１０６（例えば、ＬＩＤＡＲ）が環境の３６０°の水平ＦＯＶを提供するように完全な回転を実行することができる。さらに、回転プラットフォーム１１０は、センサ１０６に環境を様々なリフレッシュレートおよび／または走査分解能で走査させるように、様々な周波数で回転することができる。

【0068】

代替的に、または追加的に、システム１００は、（送信機１２０によって放出された）放出された信号の指向方向を様々な方法で調整するように構成されてもよい。いくつかの例では、送信機１２０の信号源（例えば、光源、アンテナ、音響トランスデューサなど）は、フェーズドアレイ構成または他のタイプのビームステアリング構成に従って操作することができる。

【0069】

センサ１０６がＬＩＤＡＲセンサとして構成される第１の例では、送信機１２０の光源は、光源によって放出された光波の位相を制御するフェーズドアレイ光学系（例えば、光学素子１２４）に結合され得る。例えば、コントローラ１０４は、フェーズドアレイ光学系（例えば、フェーズドアレイビームステアリング）を調整して、（例えば、回転プラットフォーム１１０が回転していない場合でも）送信機１２０によって放出される光信号の有効指向方向を変更するように構成できる。

【0070】

センサ１０６がＲＡＤＡＲセンサとして構成される第２の例では、送信機１２０はアンテナのアレイを含んでもよく、コントローラ１０４は、アレイ内の個々のアンテナごとにそれぞれの位相シフト制御信号を提供して、アレイからの組み合わされたＲＦ信号（フェーズドアレイビームステアリングなど）の指向方向を修正することができる。

【0071】

センサ１０６がＳＯＮＡＲセンサとして構成される第３の例では、送信機１２０は、音響トランスデューサのアレイを含み得、コントローラ１０４は、（例えば、位相シフト制御信号などを介して）音響トランスデューサのアレイを同様に操作し、（例えば、回転プラットフォーム１１０が回転していない場合などでも）アレイによって放出される、組み合わされた音信号の目標指向方向を達成し得る。

【0072】

他の例では、センサ（複数可）１０６の指向方向は、送信機１２０によって放出された信号のステアリング方向を調整するためにコントローラ１０４からの制御信号に応答して変形され得る、変形可撓性構造（例えば、ＭＥＭなど）を使用して制御され得る。他の例も可能である。

【0073】

静止プラットフォーム１１４は、任意の形状または形態をとることができ、例えば車両の上部などの様々な構造に結合するように構成することができる。また、静止プラットフォーム１１４の結合は、任意の実現可能なコネクタ構成（例えば、ボルトおよび／またはねじ）を介して実行されてもよい。このようにして、システム１００は、本明細書に記載されているような様々な目的に使用されるように構造に結合され得る。一例では、センサ（複数可）１０８は、静止プラットフォーム１１４に結合することができる。この例では、センサ（複数可）１０８は、センサ（複数可）１０６の回転運動（または送信機１２０によって放出される信号の別の方法で変化するビーム方向）に対して静止したままであり得る。別の例では、センサ（複数可）１０８は、静止プラットフォーム１１４とは異なる別の物理的構造に取り付けることができる。

【0074】

回転リンク１１６は、静止プラットフォーム１１４を回転プラットフォーム１１０に直接的に、または間接的に結合する。そのために、回転リンク１１６は、静止プラットフォーム１１４に対する軸を中心とした回転プラットフォーム１１０の回転を提供する任意の形状、形態、および材料をとることができる。いくつかの例では、回転リンク１１６は、アクチュエータ１１２からの作動に基づいて回転するシャフトなどの形態を取り得、それにより、アクチュエータ１１２から回転プラットフォーム１１０に機械力を伝達する。一実施形態では、回転リンク１１６は、システム１００の１つまたは複数の構成素子を配設することができる中央空洞を有することができる。いくつかの例では、回転リンク１１６はまた、静止プラットフォーム１１４と回転プラットフォーム１１０（および／またはセンサ（複数可）１０６などのその上の構成素子）との間でデータおよび／または命令を転送するための通信リンクを提供し得る。

【0075】

ハウジング１１８は、任意の形状、形態、および材料をとることができ、システム１００の１つまたは複数の構成素子を収容するように構成することができる。一例では、ハウジング１１８は、ドーム型のハウジングとすることができる。さらに、いくつかの例では、ハウジング１１８は、少なくとも部分的に不透明な材料で構成されてもよく、これにより、少なくとも一部の光がハウジング１１８の内部空間に入るのを遮断でき、したがって、システム１００の１つまたは複数の構成素子への周囲光の熱およびノイズの影響を緩和するのに役立ち得る。ハウジング１１８の他の構成も可能である。いくつかの実施形態では、ハウジング１１８は、回転プラットフォーム１１０の回転に基づいて上記の軸を中心に回転するように構成されるように、回転プラットフォーム１１０に結合され得る。このような実施形態では、センサ（複数可）１０６は、ハウジング１１８と共に回転することができる。他の実施形態では、センサ（複数可）１０６がハウジング１１８内で回転する間、ハウジング１１８は静止したままであり得る。システム１００はまた、特定のサブシステムまたはシステム１００の構成素子の組み合わせを収容するためのハウジング１１８と同様の複数のハウジングを含み得る。例えば、システム１００は、センサ（複数可）１０６のための第１のハウジングと、センサ（複数可）１０８のための別個のハウジングとを含み得る。他の例も可能である。

【0076】

ディスプレイ１４０は、システム１００の１つまたは複数の構成素子に関する情報を表示するために、システム１００に任意に含めることができる。例えば、コントローラ１０４は、ディスプレイ１４０を操作して、カメラ（例えば、センサ１０８）、センサ１０６からのＬＩＤＡＲデータによって示されるシステム１００の環境の表現（例えば、３Ｄポイントクラウドなど）および／または、センサ１０６および１０８からのデータの組み合わせに基づく環境の表現（例えば、カラーのポイントクラウド、温度インジケーターが重ねられた画像など）を使用して撮像された画像を表示すことができる。そのために、ディスプレイ１４０は、任意のタイプのディスプレイ（例えば、液晶ディスプレイ、ＬＥＤディスプレイ、ブラウン管ディスプレイ、プロジェクタなど）を含むことができる。さらに、いくつかの例では、ディスプレイ１４０は、センサ１０８によって撮像された画像、センサ１０６を使用して撮像されたＬＩＤＡＲデータ、および／または、システム１００の様々な構成素子に関する他の情報（例えば、電源装置１０２を介して残っている電力）を表示し、かつ／またはそれと対話するためのグラフィカルユーザインターフェース（ＧＵＩ）を有することができる。例えば、ユーザは、ＧＵＩを操作して、センサ１０６および／または１０８の走査構成（例えば、走査リフレッシュレート、走査分解能など）を調整することができる。

【0077】

システム１００の様々な構成素子は、多種多様な異なる構成に組み合わせるか、または分離することができることに留意されたい。例えば、センサ１０６および１０８は別個の構成素子として示されているが、センサ１０６および１０８の１つまたは複数の構成素子は、代替として、単一の装置内に物理的に実装することができる。したがって、システム１００のこの配置は、例示の目的でのみ説明されており、限定することを意味するものではない。

【0078】

図２Ａは、例示的な実施形態による、回転ＬＩＤＡＲセンサ２０６およびカメラリング２０８を含む装置２００を示す。図示のように、装置２００は、ＬＩＤＡＲ２０６、カメラリング２０８（例えば、ローリングシャッターカメラ配置など）、回転プラットフォーム２１０、静止プラットフォーム２１４、ハウジング２１８、ＬＩＤＡＲレンズ２２４、および、カメラレンズ２３０、２３２、２３４を含み、それぞれが、例えば、センサ（複数可）１０６、センサ（複数可）１０８、回転プラットフォーム１１０、静止プラットフォーム１１４、ハウジング１１８、光学素子１２４、および光学素子１３０と同様であってもよい。

【0079】

図示のように、ＬＩＤＡＲ２０６によって放出された光ビーム２５０は、レンズ２２４からＬＩＤＡＲ２０６の指向方向に沿ってＬＩＤＡＲ２０６の環境に向かって伝搬し、環境内の１つまたは複数のオブジェクト（図示せず）で反射光２６０として反射する。さらに、図示のように、その後、ＬＩＤＡＲ２０６は、（例えば、レンズ２２４を介して）反射光２９０を受光することができる。したがって、例えば、ＬＩＤＡＲ２０６は、センサ１０６の上記の説明と同様に、反射光２９０の検知（複数可）に基づいて１つまたは複数のオブジェクトとＬＩＤＡＲ２０６との間の距離を示すデータ（例えば、データポイントクラウドなど）を提供することができる。

【0080】

さらに、図示のように、カメラリング２０８の各カメラは、それぞれのカメラに入射する外部光２７０のそれぞれの部分を受光し、検知することができる。そのために、外部光２７０は、数ある可能性の中でもとりわけ、太陽、街灯などの１つまたは複数の外部光源から発生する光を含むことができる。例えば、外部光２７０は、外部光源からカメラレンズ２３０、２３２、および／または２３４に向かって直接伝搬する光を含み得る。代替的に、または追加的に、外部光２７０は、外部光源から発生し、レンズ２３０、２３２、および／または２３４に向かって伝搬する前に、装置２００の環境において１つまたは複数のオブジェクト（図示せず）で反射する光を含み得る。したがって、例えば、カメラリング２０８のカメラは、外部光２７０に基づいて環境の１つまたは複数の画像を生成することができる。さらに、特定のカメラによって生成された各画像は、装置２００に対する特定のカメラの特定のＦＯＶに対応し得る。

【0081】

そのために、いくつかの例では、カメラリング２０８は、互いに対してリング構成（例えば、円形配置、楕円形配置など）で配置される複数のカメラを含み得る。複数の各カメラは、特定の角度および／または配向で位置付け（例えば、装置２００および／またはカメラリング２０８に取り付け）られ得る。したがって、例えば、第１のカメラのＦＯＶは、他の２つの隣接するカメラのＦＯＶに隣接し、かつ／または部分的に重なり得る。この配置により、例えば、個々のカメラからの画像は、装置２００の３６０度ＦＯＶの画像に組み合わせることができる。さらに、例えば、装置２００の組み立てまたは較正中に、各カメラのそれぞれの角度および／または配向を調整して、死角（例えば、カメラリング２０８内のすべてのカメラのＦＯＶ内にない周囲環境の領域）を低減するか、または防止することができる。例えば、２つの隣接するカメラのそれぞれのＦＯＶは、２つのカメラのＦＯＶ間の環境の領域（例えば、「死角」）が装置２００からの閾値距離未満であるように（例えば、２つのカメラの相対的な取り付け位置などを移動させ、回転させ、かつ／または他の方法で調整することによって）、整列することができる。

【0082】

これを容易にするために、一実施形態では、カメラリング２０８は、特定のそれぞれの取り付け位置（例えば、角度、配向）でカメラを受容し、かつ／または支持する１つまたは複数の（例えば、リング形状などの）くぼみを有するハウジングを任意に含み得る。別の実施形態では、例示的なシステム（例えば、システム１００、較正システムなど）は、カメラによって撮像された画像を比較し、比較に基づいて、それぞれのカメラの目標ＦＯＶをそれぞれ達成する整列オフセットを判定するように構成され得る。例示的なシステムはまた、ロボットアーム、アクチュエータ、および／または任意の他の整列装置を含み、かつ／または操作して、判定された整列オフセットに従ってカメラリング２０８内のカメラの位置を調整することができる。他の例も可能である。

【0083】

いくつかの例では、装置２００（またはそれに結合された別のコンピューティング装置）は、カメラリング２０８のカメラを操作し、かつ／またはそこから撮像された画像を処理して（例えば、撮像された画像の一部を組み合わせるなど）、装置２００の環境の密着円形視野を形成してもよい。例えば、装置２００または別の装置のコンピューティングシステム（図示せず）は、カメラリング２０８によって撮像された画像の特徴を一致させて、カメラのＦＯＶの組み合わせに及ぶ組み合わせ画像を生成することができる。

【0084】

一実施形態では、レンズ２３０は、装置２００の第１の９０度ＦＯＶからの光を集束させてもよく、レンズ２３２は、第２の隣接する９０度ＦＯＶからの光を集束させてもよく、以下同様である。第１のＦＯＶは、第１のＦＯＶと部分的に任意に重なり得る。他の実施形態では、各カメラによって画像化されたＦＯＶは、９０度を上回るか、または下回ってもよい。さらに、上記の議論に沿って、カメラリング２０８内の任意のカメラによって撮像された画像は、他の例の中でもとりわけ、外部光２７０の異なる波長（例えば、色など）の光強度などの様々なタイプの情報を示し得る。

【0085】

いくつかの例では、ＬＩＤＡＲ２０６（および／またはハウジング２１８）は、例えば、ＬＩＤＡＲ２０６を支持する回転プラットフォーム２１０の回転に基づいて、実質的に円筒形状を有し、軸２４２を中心に回転するように構成できる。さらに、いくつかの例では、回転軸２４２は実質的に垂直であってもよい。したがって、例えば、軸２４２を中心にＬＩＤＡＲ２０６を回転させることにより、装置２００（および／または装置２００を操作するコンピューティングシステム）は、装置２００の環境の３６０度視野のＬＩＤＡＲ２０６からのデータに基づいて３次元マップを判定することができる。追加的に、または代替的に、いくつかの例では、装置２００は、（静止プラットフォーム２１４に対して）回転プラットフォーム２１０の回転軸を傾けように構成でき、それにより、ＬＩＤＡＲ２０６のＦＯＶを調整する。例えば、回転プラットフォーム２１０は、１つまたは複数の方向に傾斜する傾斜プラットフォームを含み得る。

【0086】

いくつかの例では、図示のように、ＬＩＤＡＲレンズ２２４は光強度を有して、放出された光ビーム２５０をＬＩＤＡＲ２０６の環境に向けてコリメート（および／または方向付け）することと、環境から受信した反射光２６０をＬＩＤＡＲ２０６のＬＩＤＡＲ受信機（図示せず）を集束することの両方を行い得る。一例では、レンズ２２４は、約１２０ｍｍの焦点距離を有する。他の焦点距離の例も可能である。コリメート用の送信レンズおよび集束用の受信レンズの代わりに、同じレンズ２２４を使用してこれらの機能の両方を実行することにより、サイズ、コスト、および／または複雑さに関する利点を提供することができる。しかしながら、代替として、ＬＩＤＡＲ２０６は、別個の送信および受信レンズを含み得る。したがって、図示されていないが、ＬＩＤＡＲ２０６は、代替として、放出光２５０を環境に方向付ける送信レンズおよび、ＬＩＤＡＲ２０６の受信機による検知のために反射光２６０を集束させる別個の受信レンズを含むことができる。

【0087】

装置２００は、示されるものよりも多い、少ない、または異なる構成素子を含み得、示される構成素子のうちの１つまたは複数は、異なる方法で組み合わされ得るかまたは分離され得ることに留意されたい。一例では、複数のカメラレンズ２３０、２３２、２３４の代わりに、装置２００は代替として、カメラリング２０８の周囲の周りに延在する単一のカメラレンズを含み得る。別の例では、カメラリング２０８は静止プラットフォーム２１４に結合されるように示されているが、カメラリング２０８は、代替として、別個の物理的構造として実装され得る。さらに別の例では、カメラリング２０８は、回転プラットフォーム２１４によって回転することなく、ＬＩＤＡＲ２０６の上に位置付けることができる。さらに別の例では、カメラリング２０８は、示されるよりも多いか、または少ないカメラを含み得る。他の例も可能である。

【0088】

図２Ｂは、例示的な実施形態による、カメラリング２０８の断面図を示す。図２Ｂの断面図では、軸２４２（すなわち、ＬＩＤＡＲ２０６の回転軸）は、ページを通って延在する。図示のように、カメラリング２０８は、回転軸２４２を中心として配置される４つのカメラ２０８ａ、２０８ｂ、２０８ｃ、２０８ｄを含む。したがって、示される例では、カメラのそれぞれは、装置２００の環境のそれぞれの９０度ＦＯＶを撮像するように構成され得る。しかしながら、他の実施形態では、カメラリング２０８は、示されるよりも少ないか、または多いカメラを含み得る。特定の一実施形態では、カメラリング２０８は、代替として、８つのカメラを含むことができ、各カメラは、環境の（少なくとも）それぞれの４５度ＦＯＶからの光をカメラの画像センサに集束させるそれぞれのレンズに結合される。他の例も可能である。したがって、カメラリング２０８は、多種多様な異なる構成を有することができ、したがって、示される構成は、説明の便宜のためにのみ４つのカメラを含む。

【0089】

さらに、図示のように、カメラ２０８ａは、装置２００の環境からの外部光（例えば、光２７０）の第１の部分をカメラ２０８ａの画像センサ２２６上に集束させるレンズ２３０を含む。さらに、図示のように、カメラ２０８ｂは、カメラ２３２の画像センサ２４６上に外部光の第２の部分を集束させるレンズ２３２を含む。同様に、カメラ２０８ｃおよび２０８ｄは、外部光のそれぞれの部分をカメラのそれぞれの画像センサに集束させるように構成され得る。

【0090】

さらに、図示のように、各画像センサは、例えば、感知素子１２８と同様の感知素子のアレイを含み得る。例えば、カメラ２０８ａの画像センサ２２６は、（例えば、感知素子１２８と同様であり得る）感知素子２２８ａ～２２８ｆによって例示される感知素子の隣接する行のアレイを含み得る。例として、画像センサ２２６の感知素子の第１の行は、感知素子２２８ａおよび、ページを通して垂直に（例えば、軸２４２に平行に）配置される１つまたは複数の他の感知素子（図示せず）を含み得る。さらに、第１の行に隣接する感知素子の第２の行は、感知素子２２８ｂおよび、ページを通して垂直に配置される１つまたは複数の他の感知素子（図示せず）などを含むことができ、以下同様である。

【0091】

このようにして、例えば、カメラ２０８ａ、２０８ｂ、２０８ｃ、２０８ｄは一緒に、軸２４２を中心として配置された感知素子の隣接する行のアレイを提供し、これにより、装置２００の周りの３６０度（水平）ＦＯＶの様々な対応する部分を画像化することが可能である。例えば、カメラ２０４ｂの画像センサ２４６内の感知素子の所与の行は、感知素子２４８ａ（およびページを通して軸２４２に平行に配置された１つまたは複数の他のセンサ）を含むことができる。さらに、この例では、カメラ２０８ｂの感知素子の所与の行はまた、感知素子２２８ｆを含むカメラ２０８ａの感知素子の行に隣接してもよい。したがって、例示的なシナリオでは、カメラリング２０８から取得された画像画素のシーケンスは、感知素子２２８ｆを含む感知素子の行からのデータを使用して取得された画像画素の行および、その後に続く、感知素子２４８ａを含む感知素子の行からのデータを使用して取得された画像画素の行を含み得る。

【0092】

画像センサ（例えば、センサ２２６、２４６など）のそれぞれにおける感知素子の行の数は、説明の便宜のためにのみ示されるように例示されていることに留意されたい。しかしながら、いくつかの実施形態では、画像センサ２２６（および／または２４６）は、示されているよりも多いか、または少ない感知素子の行を含み得る。特定の一実施形態では、画像センサ２２６は、代替として、３０００行の感知素子を含むことができ、各行は、（ページ全体に延在する）１０００個の感知素子を含むことができる。したがって、この実施形態では、カメラ２０８ａは、３０００×１０００画素の画像を出力するように構成され得る。さらに、この実施形態では、カメラ２０８ａは、６０Ｈｚの速度で画像を撮像するように構成され得る。他のカメラ設定パラメーターも可能である。

【0093】

装置２００の様々な構成素子のサイズ、形状、および位置は必ずしも縮尺どおりではなく、説明の便宜のためにのみ示されるように例示されていることに留意されたい。一例では、図２Ｂに示されるレンズ２３０、２３２、２３４、２３６、およびセンサ２２６、２４６などのサイズは、示されるサイズとは異なり得る。別の例では、レンズ２３０と画像センサ２２６との間の距離は、示された距離とは異なり得る。一実施形態では、レンズ２３０からセンサ２２６までの距離は、レンズ２３０の直径の約２倍に対応し得る。しかしながら、他の実施形態では、画像センサ２２６およびカメラレンズ２３０は、他のサイズ、形状、および／または互いに対する位置を有することができる。

【0094】

図２Ｃは、例示的な実施形態による、装置２００の操作の概念図である。図２Ｃの図では、カメラ２０８ａの画像センサ２２６の感知素子は、ページの平面にある。例えば、カメラレンズ２３０およびＬＩＤＡＲ２０６などの装置２００の構成素子のうちのいくつかは、説明の便宜上、図２Ｃの図から省略されていることに留意されたい。

【0095】

いくつかの実施形態では、装置２００は、ローリングシャッター構成でカメラ２０８ａ、２０８ｂ、２０８ｃ、および／または２０８ｄを操作して、画像画素のシーケンスを取得するように構成され得る。例えば、図２Ｃのシナリオでは、感知素子２２８ａおよび２２８ｇを含む感知素子の第１の行は、第１の露出時間中にそこに入射する外部光の量を測定するように構成され得る。装置２００はまた、装置２００のコントローラ（例えば、コントローラ１０４）への送信のために（第１の露出時間が経過した後）感知素子の第１の行による測定値を読み取り変換するアナログデジタルコンバータ（図示せず）を含み得る。第１の露出時間の開始時間からの（かつ、任意には第１の露出時間が終了する前の）時間遅延の後、装置２００は、第２の露出時間中に、感知素子２２８ｂおよび２２８ｈを含む感知素子の第２の行の露出を開始することができる。したがって、いくつかの例では、感知素子の複数の行の露出時間が部分的に重なる場合がある（例えば、第１および第２の露出時間の開始時間の間の時間遅延が、第１の露出時間未満である場合がある、など）。このようにして、ローリングシャッター構成のカメラは、露出時間の開始時間をずらして、（例えば、それぞれの露出時間の重なり合う部分の間に感知素子の複数の行を同時にさらすことにより）画像のリフレッシュレートを上げることができる。

【0096】

シナリオを続けると、第２の露出時間が経過した後、装置２００は、同様に、感知素子の第２の行による測定値を測定し、コントローラに送信することができる。このプロセスは、感知素子のすべての行（つまり、完全な画像フレーム）が走査されるまで繰り返される。例えば、第２の露出時間の開始時間の後（かつ、任意には第２の露出時間が経過する前に）、装置２００は、感知素子の（第２の行に隣接する）第３の行を外部光２７０にさらし始めることができ、以下同様である。

【0097】

さらに、上記のように、装置２００は、光パルスがＬＩＤＡＲ２０６によって放出される順序と同様の順序で画像画素のシーケンスを取得するように構成され得る。そうすることにより、例えば、画像画素のシーケンスが別の順序で取得される実施形態よりも多くのカメラ２０８ａ～ｄによって撮像された画像画素が、（例えば、放出された光パルス）ＬＩＤＡＲデータと（時間と視線方向の両方で）重なり合う場合がある。

【0098】

例えば、図２Ｃのシナリオを続けると、ＬＩＤＡＲ２０６が軸２４２を中心として第１の指向方向または配向にあるとき、光ビーム２５０ａ、２５０ｂ、２５０ｃは、図２Ａに示される放出光２５０に対応し得る。シナリオでは、装置２００は、（例えば、素子２２８ｂおよび２２８ｈを含む）感知素子の第２の（垂直）行を走査する前に、（例えば、素子２２８ａおよび２２８ｇを含む）感知素子の第１の（垂直）行を走査するように構成され得る。そうすることにより、感知素子の第１の行を使用して撮像された画像画素は、時間および視線方向の両方に関して、光ビーム２５０ａ～２５０ｃの検知された反射と一致する可能性が高くなる。シナリオでは、ＬＩＤＡＲ２０６は、次に、軸２４２を中心に（例えば、反時計回りに）回転し、光ビーム２５２ａ～２５２ｃを放出することができる。次に、装置２００は、検知された光ビーム２５２ａ～２５２ｃの反射と（時間および視線方向の両方で）整列する可能性が高い（例えば、感知素子２２８ｂおよび２２８ｈを含む）感知素子の第２の行を使用して第２の行の画像画素を取得してもよく、以下同様である。

【0099】

一方、装置２００は代わりに、感知素子２２８ａ～２２８ｆを含む行（例えば、水平行）の順序で画像画素のシーケンスを取得し、その後に感知素子の隣接する（水平）行などが続く場合、その後、画像画素のシーケンスは、光ビーム２５０ａ～２５０ｃおよび２５２ａ～２５２ｃの検知された反射と一致する可能性が低くなる。例として、画像センサ２２６が水平（行ごとの）走査順序を使用して６０Ｈｚのリフレッシュレート（すなわち、毎秒６０画像）で操作する場合、取得されたシーケンスの感知素子２２８ｇに関連付けられた画像画素は、光ビーム２５０ｃの放出時間と比較して約１６ミリ秒の時間遅延を有し得る。他の例のリフレッシュレートや時間遅延が可能である。

【0100】

いくつかの実施形態では、装置２００はまた、ＬＩＤＡＲ２０６による光パルス／ビームの放出の順序に従ってシーケンス内の画像画素の行を取得するように構成され得る。例えば上記のシナリオの変形例として、ＬＩＤＡＲ２０６が光ビーム２５０ａ、２５０ｂ、２５０ｃをその順序で放出する場合、装置２００は、（例えば、感知素子２２８ａで開始し、感知素子２２８ｇで終了する）同様の順序で感知素子の第１の行に関連付けられた画像画素行を取得するように構成され得る。一方、例えば、ＬＩＤＡＲ２０６が光ビーム２５０ｃ、２５０ｂ、２５０ａをその順序で放出する場合、装置２００は、代わりに、画像画素行を（例えば、感知素子２２８ｇで開始し、感知素子２２８ａで終了する）反対の順序で取得するように構成され得る。

【0101】

さらに、いくつかの実施形態では、装置２００は、ＬＩＤＡＲ２０６の回転速度に基づいて、画像画素のシーケンスにおける後続の画像画素行を撮像する間の時間遅延を調整するように構成され得る。例えば、ＬＩＤＡＲ２０６が（例えば、アクチュエータ（複数可）１１２などを介して）その回転速度を上げる場合、装置２００は、（例えば、感知素子２２８ａおよび２２８ｇを含む）感知素子の第１の行に関連する画像画素の第１の行を取得することと、感知素子の第２の隣接する行に関連して応じる画像画素の第２の行を取得することとの間の時間遅延を低減し得る。上記のように、例えば、感知素子の各行に関連付けられた露出開始時間は、対応する画像画素を取得する順序と時間に依存する可能性があるため、時間遅延を調整すると、画像画素撮像時間（および視線方向）の、および対応するＬＩＤＡＲパルス放出時間（および／または対応する反射の検知）と一致する範囲が向上し得る。

【0102】

図２Ｄは、装置２００の上面図を示す。図２Ｄの例示では、ＬＩＤＡＲ２０６は、軸２４２を中心とした（例えば、ページの下部に向かう）０°の角度位置に対応する第１の指向方向を有することができる。この構成では、例えば、ＬＩＤＡＲ２０６は、レンズ２３４を含む、（図２Ｂに最もよく示されている）カメラ２０８ｃを使用して撮像された画像の中心に対応する周囲環境の領域を走査することができる。

【0103】

図２Ｅは、装置２００の別の上面図を示す。図２Ｅの例示では、ＬＩＤＡＲ２０６は、軸２４２を中心とした（例えば、ページの上部に向かう）１８０°の角度位置に対応する第２の指向方向を有することができる。例えば、ＬＩＤＡＲ２０６が図２Ｄの第１の指向方向から軸２４２を中心とした完全な回転の半分だけ回転した後、ＬＩＤＡＲ２０６は図２Ｅの第２の指向方向を有することができる。さらに、例えばこの構成では、ＬＩＤＡＲ２０６は、レンズ２３０を含む、（図２Ｂに最もよく示されている）カメラ２０８ａを使用して撮像された画像の中心に対応する環境の領域を走査することができる。

【0104】

いくつかのシナリオでは、ＬＩＤＡＲ２０６が軸２４２を中心に回転するとき、ＬＩＤＡＲ２０６のＦＯＶがカメラ２０８ａのＦＯＶと重なる時間は、カメラ２０８ａを使用して画像を撮像するのに適した露出時間（および読み出し時間）未満である場合がある。

【0105】

カメラ２０８ａが（例えば、カメラ２０８ａ内の感知素子の行が異なる露出開始時間に従ってさらされる）ローリングシャッター構成で操作される１つの例示的なシナリオでは、カメラ２０８ａの画像センサ２２６は、６０ｍｓの時間にわたって画像フレーム（すなわち、画像センサ２２６のすべての感知素子からの画素データ）を測定し、出力し得る。さらに、シナリオでは、ＬＩＤＡＲ２０６は、１０Ｈｚの回転速度（すなわち、１００ｍｓごとに軸２４２を中心とした１回の完全な回転）で回転するように構成され得る。したがって、ＬＩＤＡＲ２０６は、１００ｍｓ／４＝２５ｍｓ（例えば、ｔ＝３７．５ｍｓからｔ＝６２．５ｍｓまで）の時間内でカメラ２０８ａのＦＯＶと重なるＦＯＶの範囲を走査することができる。カメラとＬＩＤＡＲの走査時間の違いを明らかにするために、いくつかの実施形態では、装置２００は、ＬＩＤＡＲ２０６によって放出されたＬＩＤＡＲ光パルスを、カメラのすべてではないがいくつかの画像感知素子によって撮像された画像画素と同期するように構成され得る。

【0106】

例えば、装置２００は、ＬＩＤＡＲ２０６が画像の特定の領域と整列された特定の指向方向を指しているときに、画像の特定の領域（例えば、画像の中心か、またはその付近の画像画素の垂直行（複数可）など）が外部光にさらされるように、特定のカメラによる画像の撮像をトリガするように構成され得る。

【0107】

例えば（ＬＩＤＡＲ２０６が１０Ｈｚの周波数で回転する）上記のシナリオを続けると、時間ｔ＝０ｍｓにおいて、（図２Ｄに示されるような）ＬＩＤＡＲ２０６は第１の指向方向（例えば、軸２４２を中心とした角度位置＝０o）を有し得る。さらに、時間ｔ＝５０ｍｓにおいて、（図２Ｅに示されるような）ＬＩＤＡＲ２０６は、第２の指向方向（例えば、軸２４２を中心とした角度位置＝１８０°）を有し得る。

【0108】

このシナリオでは、装置２００は、画像センサ２２６（カメラ２０８ａの内側）の露出時間の中心を、ＬＩＤＡＲ２０６のＦＯＶがカメラ２０８ａのＦＯＶの中心と重なる時間（例えば、ｔ＝５０ｍｓ）と同期するように構成され得る。例えば、画像センサ２２６の露出時間が６０ｍｓである場合、画像センサ２２６内の感知素子の中央の垂直行は、時間ｔ＝３０ｍｓで外部光にさらされ得る。この例では、カメラ２０８ａは、時間ｔ＝５０－３０＝２０ｍｓで画像撮像をトリガして、（時間領域と空間領域の両方で）画像センサ２２６の中心付近の感知素子の垂直行（複数可）の露出を、ＬＩＤＡＲ２０６が画像の中心に対応するＦＯＶを走査しているときに（例えば、ｔ＝５０ｍｓで）放出されるＬＩＤＡＲ光パルスと整列させる。

【0109】

この構成では、（例えば、感知素子２２８ｃを含む垂直行か、または感知素子２２８ｄを含む行を使用して撮像された）画像の中心付近の画像画素は、これらの画像画素が測定されたときに放出され／検知されたＬＩＤＡＲ光パルスと（タイミングおよび視線方向に関して）比較的整列している。一方、画像センサの中心からさらに離れた感知素子の行を使用して撮像された画像画素は、これらの画像画素が測定されたときに放出され／検知されたＬＩＤＡＲ光パルスと（時間または視線方向で）比較的不整合になる可能性がある。例として、回転するＬＩＤＡＲのＦＯＶは、時間ｔ＝３７．５ｍｓとｔ＝６２．５ｍｓとの間でカメラ２０８ａのカメラＦＯＶと重なる場合がある。しかしながら、上記のシナリオでは、カメラ２０８ａは、時間ｔ＝２０ｍｓ（すなわち、ＬＩＤＡＲのＦＯＶが、カメラのＦＯＶと重なるときの時間の範囲外）で、（図２Ｃに最もよく示されている）感知素子２２８ａを含む感知素子の列をさらし始めてもよい。

【0110】

この不整合を緩和するために、いくつかの例では、カメラ２０８ａ、２０８ｂ、２０８ｃ、２０８ｄは、ＦＯＶが部分的に重なるように構成することができる。例えば、（図２Ｂに最もよく示されている）カメラ２０８ｄは、隣接するカメラ２０８ａのＦＯＶと部分的に重なるＦＯＶを有するように構成され得る。さらに、カメラ２０８ｄを使用して撮像された画像の中心領域に関連付けられた露出時間は、ＬＩＤＡＲ２０６が、カメラ２０８ｄを使用して撮像された中心に関連するＦＯＶに向かって指向する時間（例えば、ｔ＝２５ｍｓ）と同期され得る。したがって、これらの例では、装置２００（または他のコンピュータ）は、カメラ２０８ａ（例えば、画像画素）を使用して撮像された不整合画像画素データ（画像の中心からさらに遠く離れている画像画素）の代わりに、ＬＩＤＡＲデータとのマッピングのために、カメラ２０８ｄからの整列画像画素データ（例えば、撮影画像の中心付近の画像画素）を使用できる。

【0111】

図３は、例示的な実施形態による、別のローリングシャッターカメラ配置３０８（例えば、カメラリング）の断面図を示す。カメラリング３０８は、図２Ｂに示されるカメラリング２０８と同様であり得る。図示のように、例えば、軸３４２は、軸２４２と同様に、ＬＩＤＡＲの回転軸であり得る。さらに、例えば、画像センサ３２６は、画像センサ２２６（および／または２４６）と同様であり得、感知素子２２８ａ～２２８ｆと同様であり得る感知素子３２８ａ～３２８ｅによって例示される感知素子のアレイを含み得る。例えば、画像センサ３２６は、（例えば、ページに対して垂直な）線形配置（例えば、ページに対して垂直）で感知素子３２８ａおよび１つまたは複数の他の感知素子（図示せず）を含む感知素子の第１の行と、（例えば、ページに対して垂直な）線形配置で感知素子３２８ｂおよび１つまたは複数の他の感知素子（図示せず）を含む感知素子の第２の隣接する行とを備えてもよい。

【0112】

図示されていないが、カメラリング３０８はまた、カメラリング３０８に入射する外部光の部分を画像センサ３２６内のそれぞれの感知素子に向けて集束する（例えば、カメラレンズ２３０、２３２、２３４、２３６などと同様の）１つまたは複数のカメラレンズを含み得る。追加的に、または代替的に、カメラリング３０８は、システム１００および／または装置２００のうちのいずれかに示される構成素子のうちの１つまたは複数を含み得る。

【0113】

図示のように、カメラリング３０８は、軸３４２を中心とした、湾曲した表面（例えば、円形の表面）に沿って配設される画像センサ３２６を含む。一例では、画像センサ３２６は、（感知素子３２８ａ～３２８ｅなどを含む）感知素子の配置を取り付けるフレキシブル基板（例えば、フレキシブルＰＣＢなど）上に実装することができる。したがって、この配置では、画像センサ３２６内の感知素子の行のそれぞれは、回転軸３４２に対して同じ所与の距離（例えば、感知素子の円形または円筒状の配置）にあり得る。別の例では、画像センサ３２６は、回転軸３４２を中心として互いに隣接して配置された感知素子の複数の物理的に分離された行として実装することができる。例えば、感知素子の物理的に分離された各行は、他の行と同じように回転軸に対して同じ所与の距離に配置されてもよい。他の例も可能である。実装に関係なく、カメラリング３０８の構成では、画像センサ３２６の感知素子の各行が取り付けられる曲面は、感知素子によって撮像された画像画素と、軸３４２を中心に回転するＬＩＤＡＲセンサによって放出される光ビームとの間の（例えば、視線方向に関する）重なりを改善することができる。

【0114】

例えば、ＬＩＤＡＲセンサが軸３４２を中心に回転するとき、ＬＩＤＡＲ装置の視点（例えば、ＬＩＤＡＲレンズの位置）は、円形経路で移動することがある。したがって、この配置では、画像センサ３２６の曲面は、放出され／検知されたＬＩＤＡＲ光パルスの円形経路に似ており、センサ３２６によって収集された画像画素を（同様の湾曲した経路に沿ってＬＩＤＡＲセンサの回転の水平方向で検知される）ＬＩＤＡＲ光パルスと一致させる可能性を向上させる。
ＩＩＩ．例示的な方法およびコンピュータ可読媒体

【0115】

図４は、例示的な実施形態による方法４００のフローチャートである。方法４００は、例えば、システム１００、装置２００、および／またはカメラリング３０８のうちのいずれかと共に使用され得る方法の実施形態を提示す。方法４００は、ブロック４０２～４０４のうちの１つまたは複数によって図示のように、１つまたは複数の操作、機能、またはアクションを含み得る。ブロックは連続した順序で示されているが、これらのブロックは、いくつかの例では、並行に、かつ／または本明細書で説明された順序とは異なる順序で実行され得る。また、様々なブロックは、より少ないブロックに組み合わされ、追加のブロックに分割され、かつ／または所望の実装に基づいて除去されてもよい。

【0116】

さらに、方法４００ならびに本明細書で開示される他のプロセスおよび方法について、フローチャートは、本実施形態のうちの１つの可能な実装の機能および操作を示す。これに関して、各ブロックは、モジュール、セグメント、製造または操作プロセスの一部、またはプログラムコードの一部を表すことができ、それにはプロセス内の特定の論理機能またはステップを実行するためのプロセッサによって実行可能な１つまたは複数の命令が含まれる。プログラムコードは、例えば、ディスクまたはハードドライブを含むストレージ装置のような任意のタイプのコンピュータ可読媒体に格納することができる。コンピュータ可読媒体は、レジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ（ＲＡＭ）のような、データを短時間にわたって格納するコンピュータ可読媒体などの非一時的なコンピュータ可読媒体を含むことができる。コンピュータ可読媒体は、例えばリードオンリーメモリ（ＲＯＭ）、光ディスクまたは磁気ディスク、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）のような補助ストレージまたは永続長期ストレージなどの非一時的なコンピュータ可読媒体を含むこともできる。コンピュータ可読媒体は、任意の他の揮発性または不揮発性ストレージシステムとすることもできる。コンピュータ可読媒体は、例えばコンピュータ可読記憶媒体、または有形のストレージ装置であると考えることができる。さらに、方法４００および本明細書で開示される他のプロセスおよび方法について、図４の各ブロックは、プロセス内の特定の論理機能を実行するように配線された回路を表すことができる。

【0117】

ブロック４０２で、方法４００は、ＬＩＤＡＲセンサの環境を走査するために、ＬＩＤＡＲセンサを、軸を中心に回転させることを含む。例えば、ＬＩＤＡＲセンサ２０６は、ＬＩＤＡＲセンサ２０６の指向方向を調整するために軸２４２を中心に回転する回転プラットフォーム２１０に取り付けられてもよい。さらに、ＬＩＤＡＲセンサ２０６は、回転中に、ＬＩＤＡＲ２０６の指向方向によって画定される環境の視野に向けて１つまたは複数の光ビームまたはパルス２５０を放出し、その後、放出光２５０の反射（例えば、反射２６０）を検知することができる。さらに、例示的なシステムは、検知された反射を（例えば、コントローラ１０４を介して）処理して、ＬＩＤＡＲセンサ２０６の環境内の１つまたは複数のオブジェクトに関する情報（例えば、距離、テクスチャ、材料など）を判定することができる。

【0118】

いくつかの例では、ＬＩＤＡＲセンサによって環境に方向付けられた１つまたは複数の光ビームの配置は、ＬＩＤＡＲセンサの回転特性に基づいていてもよい。例えば、図２Ｃを再び参照すると、ＬＩＤＡＲセンサは、ＬＩＤＡＲセンサが軸２４２を中心として第１の指向方向にあるときに、光ビーム２５０ａ、２５０ｂ、２５０ｃを、ＬＩＤＡＲセンサが軸２４２を中心として第２の指向方向にあるときに、光ビーム２５２ａ、２５２ｂ、２５２ｃを放出してもよい。ＬＩＤＡＲセンサの回転特性が修正されると、光ビーム２５０ａ、２５０ｂ、２５０ｃ、２５２ａ、２５２ｂ、２５２ｃの配置がそれに応じて変化する可能性がある。例えば、ＬＩＤＡＲセンサがより速い速度で回転する場合、光ビーム２５０ａ、２５０ｂ、２５０ｃと光ビーム２５２ａ、２５２ｂ、２５２ｃとの間の距離が増大し得る。別の例として、ＬＩＤＡＲセンサが反対方向に回転する場合、光ビーム２５０ａ、２５０ｂ、２５０ｃの方向に対する光ビーム２５２ａ、２５２ｂ、２５２ｃの方向は、図２Ｃに示されるものとは異なる場合がある。他の例も可能である。

【0119】

ブロック４０４で、方法４００は、ＬＩＤＡＲセンサを回転させている間に、１つまたは複数の外部光源から発生する外部光を検知する１つまたは複数のカメラを使用して画像画素のシーケンスを取得することを含む。例えば、１つまたは複数のカメラは、（図２Ｂに示される）カメラ２０８ａ、２０８ｂ、２０８ｃ、２０８ｄにおける感知素子の配置と同様に、感知素子の複数の隣接する行を一緒に提供し得る。さらに、感知素子の行のうちの１つまたは複数は、ＬＩＤＡＲセンサの回転軸の方向に従って配置されてもよい。例えば、図２Ｃを再び参照すると、素子２２８ａおよび２２８ｇを含む感知素子の第１の行は、軸２４２の垂直方向と同様の垂直配置であり得、素子２２８ｂおよび２２８ｈを含む感知素子の第２の行もまた、軸２４２の垂直方向と同様の垂直配置であり得、以下同様である。

【0120】

さらに、いくつかの例では、シーケンスの第１の画像画素行は、第１の露出時間中の感知素子の第１の行による外部光の測定値を示してもよく、シーケンスの第２の画像画素行は、第２の露出時間中の感知素子の第２の行による外部光の測定値を示してもよい。例えば、１つまたは複数のカメラは、画像感知素子（または行）が連続的に測定（例えば、読み出し）されて画像画素のシーケンスを取得するローリングシャッター構成で操作され得る。さらに、上記の議論に沿って、感知素子の第１の行の第１の露出時間は、感知素子の第２の（後続の）行の第２の露出時間が開始する前に開始してもよい。

【0121】

例えば、第１の露出時間の開始時間は、第２の露出時間の開始時間より前であってもよい。この場合、（ブロック４０４で取得された）シーケンス内の画像画素の第１のラインまたは行は、（第１の露出時間中にさらされた）感知素子の第１の行からのデータに基づくことができ、シーケンス内の画像画素の第２の後続のラインまたは行は、（第２の露出時間中にさらされた）感知素子の第２の行からのデータに基づくことができる。

【0122】

この配置では、例えば、感知素子の第１の行は、第２の行が環境の第２の（例えば、水平方向に隣接する）領域の画像化を開始する前に、第１の行の第１のＦＯＶ内の環境の第１の領域の画像化を開始し得る。さらに、ＬＩＤＡＲセンサは、軸を中心に回転方向に回転させることができ、これにより、ＬＩＤＡＲセンサは、感知素子の第２の行によって画像化される第２のＦＯＶを走査する前に、感知素子第１の行によって画像化される第１のＦＯＶを走査する。

【0123】

したがって、いくつかの実施形態では、画像画のシーケンス（または画像画素行）を取得することは、ＬＩＤＡＲセンサの少なくとも１つまたは複数の回転特性（および／または、ＬＩＤＡＲセンサによって環境に方向付けられた光ビームの配置）に基づいて１つまたは複数のカメラを操作するためのタイミング構成を判定することを含み得る。これらの実施形態では、方法４００は、判定されたタイミング構成に従ってブロック４０４で画像画素のシーケンスを取得するために１つまたは複数のカメラを操作することも含み得る。

【0124】

例えば、図２Ｃを再び参照すると、装置２００は、対応する光ビームがＬＩＤＡＲセンサによって放出された順序に基づいて、感知素子の特定の行のシーケンスにおける画像画素の順序を選択することができる。例えば、ＬＩＤＡＲ２０６が光ビーム２５０ｃ、２５０ｂ、２５０ａを（この順序で）放出する場合、装置２００は、感知素子２２８ｇに関連付けられた画素で開始し、感知素子２２８ａに関連付けられた画素で終了するシーケンスの画像画素の第１の行を取得することができる。一方、ＬＩＤＡＲ２０６が光ビーム２５０ａ、２５０ｂ、２５０ｃを（この順序で）放出する場合、装置２００は、感知素子２２８ａに関連する画素で開始し、感知素子２２８ｇに関連する画素で終了するシーケンスの画像画素の第１の行を取得することができる。したがって、いくつかの実施形態では、方法４００は、ＬＩＤＡＲセンサによって放出された複数の光ビームの配置（および／または放出の順序）に基づいて特定の順序で測定される画像画素のシーケンスを取得するために、（例えば、１つまたは複数のカメラの）画像センサを操作することを含み得る。

【0125】

別の例として、装置２００は、ＬＩＤＡＲ２０６の配向または指向方向に応じて、画像画素を読み取るためにセンサ２２６内の感知素子のどの行かを選択することができる。例えば、装置２００は、画像センサ２２６の露出時間の中心が、ＬＩＤＡＲ２０６のＦＯＶが画像の中心と重なる時間（例えば、ＬＩＤＡＲ２０６が図２Ｅに示す配向にある時間）と同期されるように、（図２Ｂに示す）画像センサ２２６の露出をトリガしてもよい。

【0126】

したがって、いくつかの実施形態では、方法４００は、ＬＩＤＡＲセンサの少なくとも角度方向（例えば、指向方向、視線方向など）に基づいて画像画素のシーケンスを取得することを含む。さらに、いくつかの実施形態では、方法４００は、ＬＩＤＡＲセンサが回転軸を中心として特定の配向にあることに関連する時間に基づいて、１つまたは複数のカメラの特定のカメラのカメラ露出時間の開始時間を判定することを含み得る。いくつかの例では、特定の配向は、特定のカメラを使用して撮像された画像の一部（例えば、カメラの中央領域など）で表される環境の領域と少なくとも部分的に重なるＬＩＤＡＲセンサの特定のＦＯＶを画定してもよい。

【0127】

例えば、図２Ｂを再度参照すると、カメラ２０８ａは、カメラ２０８ａのＦＯＶからの外部光を画像センサ２２６に向けて集束することができる。さらに、カメラ２０８ａは、カメラが素子２２８ａを含む感知素子の第１の行の露出を開始し、その後、時間遅延の後に素子２２８ｂを含む第２の行の露出を開始し、以下同様であるローリングシャッターモードで操作することができる。カメラ２０８ａのカメラ露出時間は、画像センサ２２６内の感知素子のすべての行のそれぞれの露出時間を含み得る。さらに、この例では、方法４００のシステムは、カメラの露出時間の中心が、ＬＩＤＡＲ２０６がカメラ２０８ａのＦＯＶの中心に向かって指向している所与の時間（例えば、ＬＩＤＡＲ２０６が図２Ｅに示される配向にある所与の時間）に対応する。

【0128】

いくつかの実施形態では、方法４００は、ＬＩＤＡＲセンサによって放出された１つまたは複数の光パルス（またはビーム）の１つまたは複数の放出時間に基づいて（感知素子の第１の行の）第１の露出時間の開始時間を判定することと、上記の説明に沿って、判定された開始時間に基づく１つまたは複数のカメラを操作することと、を含む（例えば、それぞれの光ビームを放出するときに光ビーム２５０ａ～２５０ｃおよび／または２５２ａ～２５２ｃの放出時間およびＬＩＤＡＲセンサの指向方向に応じて適切な行を選択する）。

【0129】

いくつかの実施形態では、方法４００は、少なくともＬＩＤＡＲセンサの回転の方向に基づいて、感知素子の隣接する行の外部光への、それぞれの露出開始時間の順序を判定することと、判定された順序に基づいて１つまたは複数のカメラを操作することと、を含む。例えば図２Ｃを再び参照すると、素子２２８ｂおよび２２８ｈに関連する画像画素行を取得した後、装置２００は、次に、ＬＩＤＡＲ２０６が時計回り方向に回転している場合、感知素子２２８ａおよび２２８ｇに関連する画像画素行を取得し得る。一方、ＬＩＤＡＲ２０７が反時計回り方向に回転している場合、装置２００は、代わりに、素子２２８ｃを含む感知素子の行に関連する画像画素行を取得することができる。

【0130】

いくつかの実施形態では、方法４００は、ＬＩＤＡＲセンサの回転速度に基づいて時間遅延を判定することと、感知素子の第１の行を使用して第１の画像画素行を取得することと、第１の画像画素行を取得してから判定された時間遅延が経過した後に、感知素子の第２の行を使用して第２の画像画素行を取得することと、を含む。例えば、図２Ｃを再び参照すると、装置２００は、ＬＩＤＡＲ２０６の回転速度が下がる場合、（素子２２８ａおよび２２８ｇを含む）第１の画像画素行と（素子２２８ｂおよび２２８ｈを含む）第２の画像画素行を取得する間の時間遅延を増大し得、または、ＬＩＤＡＲ装置２０６の回転速度が上がる場合、時間遅延を減少させ得る。

【0131】

上記の例の変形例として、装置２００は、第１の開始時間に（素子２２８ａおよび２２８ｇを含む）感知素子の第１の行の第１の露出時間を開始し、次に第２の開始時（すなわち、判定された時間遅延の経過後）に（素子２２８ｂおよび２２８ｈを含む）感知素子の第２の行の第２の露出時間を開始することができる。したがって、いくつかの実施形態では、方法４００は、ＬＩＤＡＲセンサの回転特性（例えば、回転速度など）に基づいて、第１の露出時間の開始時間と第２の露出時間の開始時間との間の時間遅延を判定することと、および判定された時間遅延に従って１つまたは複数のカメラを操作することと、を含む。

【0132】

いくつかの実施形態では、方法４００は、ＬＩＤＡＲセンサの指向方向（および／または回転特性）に基づいて、１つまたは複数のカメラのそれぞれのカメラ露出時間を制御することを含む。他の実施形態では、方法４００は、１つまたは複数のカメラのそれぞれのカメラ露出時間時間に基づいて、ＬＩＤＡＲセンサの１つまたは複数の回転特性を修正することを含む。例えば、図２Ｂを再び参照すると、カメラ２０８ａ、２０８ｂ、２０８ｃ、２０８ｄは、ブロック４０４で取得された画像画素のシーケンスにおける画像画素の順序を定義する特定のローリングシャッター構成でそれぞれの画像センサを使用して画像を撮像するように操作され得る。この例では、方法４００のシステムは、ＬＩＤＡＲセンサを操作して、カメラによって測定された画像画素の順序および配置と一致する順序および配置で光ビームを放出することができる。

【0133】

例えば、図２Ｃを再び参照すると、方法４００のシステムは、放出された光ビーム２５０ａ、２５０ｂ、２５０ｃの順序を制御し、その順序を、素子２２８ａおよび２２８ｇを含む感知素子の第１の行が測定される順序（例えば、上から下、または下から上）と一致させることができる。別の例として、システムは、第１の行に関連する画像画素の測定値と、感知素子２２８ｂおよび２２８ｈを含む第２の行に関連する画像画素の測定値との間の時間遅延に従って、ＬＩＤＡＲ２０６の回転の周波数を調整することができる。さらに別の例として、システムは、ＬＩＤＡＲ２０６の回転の方向を調整して、カメラ２０８ａの「遅軸」の方向と一致させることができる。他の例も可能である。

【0134】

いくつかの実施形態では、方法４００は、少なくともタイミング構成に基づいて、ＬＩＤＡＲセンサからのデータを画像画素のシーケンス（または画像画素行）内の１つまたは複数の画像画素に関連付けることを含む。例えば、例示的なシステムは、個々の画像画素が撮像された時間、ならびに反射されたＬＩＤＡＲパルスが検知された時間を追跡し続けることができる。さらに、例示的なシステムは、次いで、閾値時間で撮像された画像画素を、対応するＬＩＤＡＲパルス検知にマッピングすることができる。

【0135】

代替的に、または追加的に、いくつかの実施形態では、方法４００は、ＬＩＤＡＲセンサの少なくとも、アレイ内の感知素子の指向方向および視線方向に基づいて、ＬＩＤＡＲセンサからのデータを画像画素のシーケンス内の１つまたは複数の画像画素に関連付けることを含む。例えば、図２Ｃを再び参照すると、ＬＩＤＡＲ２０６が第１の指向方向にあるときに、光パルス２５０ａ、２５０ｂ、２５０ｃの反射を検知するＬＩＤＡＲ２０６に基づくデータは、（例えば、光パルス２５０ａ、２５０ｂ、２５０ｃが放出されたＬＩＤＡＲ指向方向と同じか、または同様の視線方向を有する画像感知素子に対応する）感知素子２２８ａおよび２２８ｇを含む行内の１つまたは複数の画像感知素子を使用して収集された画像画素と一致し得る。したがって、いくつかの実施形態では、方法４００は、シーケンス内の所与の画像画素行を、少なくとも、感知素子の第１の行の視野（ＦＯＶ）の視野の、ＬＩＤＡＲセンサによって特定のデータが収集されたときのＬＩＤＡＲセンサのＦＯＶとの比較に基づいて、ＬＩＤＡＲセンサによって収集された所与のデータに関連付けることを含む。

【0136】

いくつかの実施形態では、方法４００は、ＬＩＤＡＲセンサからのデータおよび画像画素のシーケンス（または画像画素行）に基づいて環境の３次元（３Ｄ）表現を判定することを含む。例えば、例示的なシステムは、ＬＩＤＡＲベースの情報（例えば、環境内の１つまたは複数のオブジェクトまでの距離など）をカメラベースの情報（例えば、色など）と組み合わせて、３Ｄ表現を生成することができる。ＬＩＤＡＲと画像データの組み合わせに基づく他のタイプの表現（例えば、２Ｄ画像、タグ付きの画像、シェーディングまたはテクスチャ情報を示す拡張画像など）が可能である。したがって、いくつかの実施形態では、方法４００は、画像画素のシーケンス（または画像画素行）および、ＬＩＤＡＲセンサによって示される情報（例えば、距離、深度、テクスチャ、反射率、吸光度、反射光パルス長など）によって示される色情報に基づいて環境の表現を判定することを含む。

【0137】

第１の例では、方法４００のシステムは、ＬＩＤＡＲセンサからのデータに基づいて、シーケンス内の画像画素の深度情報を判定することができる。例えば、システムは画像内の画像画素に深度値を割り当てることができる。さらに、例えば、システムは、環境内の１つまたは複数のオブジェクト（例えば、環境内の３Ｄ特徴を示すカラー３Ｄモデルなど）の３Ｄオブジェクトデータモデル（例えば、３Ｄレンダリング）を（例えば、ディスプレイ１４０を介して）生成できる。別の例では、画像処理システムは、それぞれのオブジェクトの深度情報（関連するＬＩＤＡＲデータによって示される）を比較することによって、画像内の複数のオブジェクトを識別し、かつ区別することができる。他の適用も可能である。したがって、いくつかの実施形態では、方法４００は、ＬＩＤＡＲセンサを使用して収集されたＬＩＤＡＲデータポイントを、１つまたは複数のカメラを使用して収集された画像画素にマッピングすることを含む。例えば、ＬＩＤＡＲデータは、画像センサまたはカメラによって出力された画像の座標系にマッピングできる。

【0138】

第２の例では、方法４００のシステムは、（１つまたは複数のカメラからのデータに基づいて）色をＬＩＤＡＲポイントクラウド内の個々の点に割り当てることができる。次に、例示的なシステムは、１つまたは複数のカメラの画像センサ（複数可）によって示される色（例えば、カラーポイントクラウドなど）情報と共に環境内の特徴までの距離を示す、走査された環境の３Ｄレンダリングを（例えば、ディスプレイ１４０を介して）生成できる。したがって、いくつかの実施形態では、方法４００は、シーケンスからの画像画素を、ＬＩＤＡＲセンサを使用して取得された対応するＬＩＤＡＲデータポイントにマッピングすることを含む。例えば、画像画素データは、ＬＩＤＡＲセンサによって出力されるＬＩＤＡＲデータの座標系にマッピングできる。

【0139】

第３の例では、方法４００のシステムは、特定のＬＩＤＡＲデータポイント（複数可）および特定の画像画素（複数可）を識別し、別の空間（例えば、３Ｄ空間など）内の特定の位置（複数可）に割り当てることができる。例えば、システムは、システムにアクセス可能なＬＩＤＡＲセンサ、１つまたは複数のカメラ、および／または他のセンサ（例えば、ＲＡＤＡＲ、ＳＯＮＡＲなど）からのデータを使用して、環境の表現を（例えば、ディスプレイ１４０を介して）表示し、かつ更新することができる。したがって、いくつかの実施形態では、方法４００は、シーケンスからの画像画素およびＬＩＤＡＲセンサからのＬＩＤＡＲデータポイントを所与の３Ｄ空間にマッピングすることを含む。したがって、例えば、ＬＩＤＡＲデータおよび画像画素データは、ＬＩＤＡＲおよびカメラ（複数可）によって定義された座標系以外の座標系にマッピングできる。

【0140】

いくつかの実施形態では、方法４００は、１つまたは複数のカメラをリング配置で取り付けることを含む。例えば、図２Ｂを再び参照すると、カメラ２０８ａ、２０８ｂ、２０８ｃ、２０８ｄは、（例えば、軸２４２を中心として）リングまたは円形配置に取り付けられて、カメラリング２０８の環境のそれぞれの部分を撮像することができる。

【0141】

第１の実施形態では、１つまたは複数のカメラを取り付けることは、リング配置における１つまたは複数のうちの所与のカメラの１つまたは複数の特性に基づくことができる。例えば、所与のカメラを個別にテストして、所与のカメラによって撮像された所与のＦＯＶの範囲が目標ＦＯＶからの閾値範囲内（例えば、９０度、４５度など）であることを確実にすることができる。これを容易にするために、例えば、例示的なシステムは、所与のカメラによって取得された画像を目標ＦＯＶの格納された画像などと比較することができる。これにより、いくつかの例において、方法４００はまた、判定された１つまたは複数の特性に基づいて、１つまたは複数のカメラを調整することを含んでもよい。

【0142】

第２の実施形態では、１つまたは複数のカメラを取り付けることは、リング配置における１つまたは複数のカメラの相対的な取り付け位置に関連する１つまたは複数の特性に基づくことができる。一例では、方法４００のシステムは、２つの隣接するカメラによって撮像されたＦＯＶが交差するか、または重なる（カメラを含む装置からの）距離を判定することができる。判定された距離内の環境内のオブジェクトは、隣接するカメラを使用するシステムによって検知されない可能性がある（例えば、「ブラインドスポット」）。さらに、例えば、距離の判定は、カメラを使用して撮像された画像、環境の同じ領域などを画像化する他のセンサによって撮像されたセンサデータ（例えば、ＬＩＤＡＲデータなど）に基づくことができる。別の例では、システムは、１つまたは複数のカメラの相対的な回転配向を判定するように構成されてもよい。例えば、ロール、ピッチ等のそれぞれのオフセット、カメラの方向は、（例えば、カメラなどにより撮像された画像に基づいて）判定され、かつ／または互いに比較され得る。したがって、いくつかの例では、方法４００はまた、判定された１つまたは複数の特性に基づいて、１つまたは複数のカメラの相対的な取り付け位置を調整することを含み得る。

【0143】

第３の実施形態では、１つまたは複数のカメラを取り付けることは、リング配置内の１つまたは複数のカメラによって画像化された環境を走査する１つまたは複数の他のセンサに関連する１つまたは複数の特性を判定することを含み得る。例えば、システムは、１つまたは複数のカメラのＦＯＶを、ＬＩＤＡＲのＦＯＶ、ＲＡＤＡＲのＦＯＶ、またはシステム内の任意の他のセンサのＦＯＶと比較することができる。さらに、いくつかの例では、システムは、１つまたは複数のカメラのＦＯＶと１つまたは複数のセンサのＦＯＶとの間の目標重なりを達成するために、特定の取り付け位置でリング配置の１つまたは複数のカメラを取り付けることができる。したがって、いくつかの例では、方法４００はまた、１つまたは複数のセンサに関連する判定された１つまたは複数の特性に基づいて１つまたは複数のカメラの取り付け位置を調整することを含み得る。

【0144】

第４の実施形態では、１つまたは複数のカメラを取り付けることは、リング配置内の１つまたは複数のカメラを使用して撮像された画像が環境内の１つまたは複数のオブジェクトを示すかどうかを判定することを含み得る。例えば、システムは、カメラ（複数可）のＦＯＶがシステムに対する特定の位置にあるオブジェクト（例えば、様々な照明条件下の信号機、歩行者、建設用コーンなど）を検知するのに適しているかどうかを判定することができる。さらに、いくつかの例では、方法４００は、撮像された画像が１つまたは複数のオブジェクトを示すかどうかの判定に基づいて、１つまたは複数のカメラの取り付け位置または他の特性（例えば、露出時間、画像の明るさなど）を調整することも含み得る。
ＩＶ．結論

【0145】

さらに、図に示されている特定の配置は、限定であると見なされるべきではない。他の実施形態は、所与の図に示される各素子をより多く、またはより少なく含むことができることを理解されたい。さらに、図示の素子のうちのいくつかは、組み合わせることができるか、または省略することができる。さらには、例示的な実施形態は、図に示されていない素子を含んでいてもよい。様々な態様および実装態様が本明細書において開示されているが、他の態様および実装態様は当業者には明らかであろう。本明細書において開示される様々な態様および実装態様は、例示を目的とするものであり、限定することを意図するものではなく、真の範囲および趣旨は、以下の特許請求の範囲により示される。本明細書において提示される主題の趣旨または範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行なうことができる。本明細書に概して記載され、図面に例示される本開示の態様は、多種多様な異なる構成で配置し、置き換え、組み合わせ、分離し、かつ設計することができることが、容易に理解される。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図3】

【図4】