特表2020-504310 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ カーネギー　メロン　ユニバーシティの特許一覧

特表2020-504310エピポーラ飛行時間撮像のための方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4(a)
4(b)
5
6
7
8
9

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2020-504310(P2020-504310A)

(43)【公表日】2020年2月6日

(54)【発明の名称】エピポーラ飛行時間撮像のための方法

(51)【国際特許分類】

G01S 7/481 20060101AFI20200110BHJP

G01C 3/06 20060101ALI20200110BHJP

G01B 11/00 20060101ALI20200110BHJP

G01S 17/89 20200101ALI20200110BHJP

G01S 17/32 20200101ALI20200110BHJP

【ＦＩ】

G01S7/481 A

G01C3/06 120Q

G01B11/00 H

G01S17/89

G01S17/32

【審査請求】未請求

【予備審査請求】未請求

【全頁数】21

(21)【出願番号】特願2019-539163(P2019-539163)

(86)(22)【出願日】2018年1月19日

(85)【翻訳文提出日】2019年9月18日

(86)【国際出願番号】US2018014369

(87)【国際公開番号】WO2018136709

(87)【国際公開日】20180726

(31)【優先権主張番号】62/499,193

(32)【優先日】2017年1月20日

(33)【優先権主張国】US

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

(71)【出願人】

【識別番号】504337958

【氏名又は名称】カーネギーメロンユニバーシティ

(74)【代理人】

【識別番号】110001173

【氏名又は名称】特許業務法人川口國際特許事務所

(72)【発明者】

【氏名】ナラシンハン，スリニバサ

(72)【発明者】

【氏名】アチャール，スプリート

(72)【発明者】

【氏名】クトゥラコス，キリアコス

(72)【発明者】

【氏名】バルテルス，ジョー

(72)【発明者】

【氏名】ウィテカー，ウィリアム

【テーマコード（参考）】

2F065

2F112

5J084

【Ｆターム（参考）】

2F065AA02

2F065AA04

2F065AA06

2F065AA53

2F065DD04

2F065DD12

2F065FF11

2F065GG06

2F065GG16

2F065GG22

2F065HH05

2F065JJ03

2F065JJ05

2F065JJ26

2F065LL13

2F065LL62

2F065MM16

2F065NN08

2F065UU07

2F112AA07

2F112AA08

2F112AA09

2F112AD01

2F112BA03

2F112BA07

2F112CA12

2F112DA09

2F112DA15

2F112DA22

2F112DA26

2F112DA28

2F112EA03

5J084AA04

5J084AD02

5J084BA04

5J084BA16

5J084BA20

5J084BA34

5J084BA40

5J084BA49

5J084BB07

5J084BB28

5J084CA04

5J084CA07

5J084CA49

5J084CA67

5J084EA01

5J084EA02

5J084EA07

5J084EA20

(57)【要約】

エネルギー効率の良いエピポーラ撮像が、ＴｏＦセンサの多用性を顕著に拡大するためにＴｏＦ分野に適用される。説明されるシステムは、明るい日光の下で屋外において１５＋ｍのレンジ；鏡面および拡散相互反射などの大域輸送効果に対するロバスト性；多くのＴｏＦセンサの存在下での、それらがすべて同じ光学波長および変調周波数で動作しているときでも、干渉のない３Ｄ撮像；および深刻なカメラぶれの存在下でのぼけおよび歪みのない３Ｄビデオを示す。説明される実施形態は、消費者およびロボット工学領域において広く適用可能である。

【特許請求の範囲】

【請求項1】

システムであって、
ａ．変調された光の可動シートを投射するための変調された光源と、
ｂ．センサであって、変調された光源によって投射された光シートがプロジェクタとセンサとの間のエピポーラ面にあるように、変調された光源およびセンサが、平行化されたステレオ構成にある、センサと、
ｃ．変調された光源とセンサとを同期させるためのマイクロコントローラと
を備える、システム。

【請求項2】

変調された光源が、
ａ．レーザ光源と、
ｂ．レーザ光源のコリメートされた出力から光シートを発生させるように構成された光学素子と、
ｃ．プロジェクタとセンサとの間の一連のエピポーラ面に沿って、レーザ光のシートを誘導するための手段と
を備える、請求項１に記載のシステム。

【請求項3】

レーザ光のシートを誘導するための手段が、回転可能なガルバノミラーおよびＭＥＭＳミラーを含む群から選択される、請求項２に記載のシステム。

【請求項4】

センサが、制御可能な対象領域を有する連続波飛行時間カメラである、請求項２に記載のシステム。

【請求項5】

投射された光シートが、センサにおける画素の単一の行を照射し、さらに、センサの制御可能な対象領域が、照射された画素の単一の行を感知するようにすべて設定される、請求項４に記載のシステム。

【請求項6】

レーザ光プロジェクタおよびセンサが、センサの対象領域が、現在照射されているエピポーラ面内の画素の行を感知するように設定されるように同期される、請求項５に記載のシステム。

【請求項7】

センサが、各照射されたエピポーラ面から少なくとも２つの画像をキャプチャする、請求項６に記載のシステム。

【請求項8】

投射された光シートが、反復する波として変調され、さらに、戻された反射の位相によって、感知された深度が、各感知された画素に対して計算されることができる、請求項７に記載のシステム。

【請求項9】

視野全体の深度マップが、視野内の各照射されたエピポーラ面から各感知された画素に対して計算された深度に基づいて作成される、請求項８に記載のシステム。

【請求項10】

マイクロコントローラが、前に照射されたエピポーラ面に関するデータをセンサから読み取り、その一方で、ガルバノミラーが、一連のエピポーラ面における次のエピポーラを照射する位置まで回転される、請求項９に記載のシステム。

【請求項11】

方法であって、
ａ．平行化されたステレオ構成で配置された変調された光源およびセンサによって画定された一連のエピポーラ面に沿って、変調された光のシートを投射するステップであって、一連のエピポーラ面が視野を画定する、ステップと、
ｂ．照射されたエピポーラ面における照射された画素の単一の行を撮像するステップと、
ｃ．照射された画素の単一の行における各画素の深度を決定するステップとを含む、方法。

【請求項12】

各画素の深度を決定するステップが、各画素からの反射光の位相に基づいて各画素の深度を計算するステップを含む、請求項１１に記載の方法。

【請求項13】

照射されたエピポーラ面における各画素の深度を計算するステップが、照射されたエピポーラ面の２つ以上の別々の画像に含まれる反射光の位相の差を決定するステップをさらに含む、請求項１２に記載の方法。

【請求項14】

画定された視野内の各照射されたエピポーラ面における各画素の深度に基づいて深度マップを作成するステップをさらに含む、請求項１２に記載の方法。

【請求項15】

センサの対象領域が現在照射されているエピポーラ面に対応するように、変調された光源とセンサとを同期させるステップをさらに含む、請求項１１に記載の方法。

【請求項16】

視野におけるエピポーラ面が、変化する順序で照射される、請求項１１に記載の方法。

【請求項17】

変調された光源が、
ａ．レーザ光源と、
ｂ．レーザ光源のコリメートされた出力から光シートを発生させるように構成された光学素子と、
ｃ．プロジェクタとセンサとの間の一連のエピポーラ面に沿って、レーザ光のシートを誘導するための手段と
を備える、請求項１１に記載の方法。

【請求項18】

非一時的コンピュータ可読媒体であって、実行されたとき、
ａ．平行化されたステレオ構成で配置された変調された光源およびセンサによって画定された一連のエピポーラ面に沿って、変調された光のシートを投射し、一連のエピポーラ面が視野を画定しており、
ｂ．照射されたエピポーラ面における照射された画素の単一の行を撮像し、
ｃ．照射された画素の単一の行における各画素の深度を決定し、
ｄ．画定された視野内の各照射されたエピポーラ面における各画素の深度に基づいて深度マップを作成する
機能を実施するソフトウェアを含む、非一時的コンピュータ可読媒体。

【請求項19】

各画素の深度を決定することが、各画素からの反射光の位相に基づいて各画素の深度を計算することを含み、照射されたエピポーラ面における各画素の深度を計算することが、照射されたエピポーラ面の２つ以上の別々の画像に含まれる反射光の位相の差を決定することをさらに含む、請求項１８に記載の非一時的コンピュータ可読媒体。

【請求項20】

ソフトウェアが、センサの対象領域が現在照射されているエピポーラ面に対応するように、変調された光源とセンサとを同期させるさらなる機能を実施する、請求項１８に記載の非一時的コンピュータ可読媒体。

【請求項21】

視野におけるエピポーラ面が、変化する順序で照射される、請求項２０に記載の非一時的コンピュータ可読媒体。

【請求項22】

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１７年１月２０日に出願された米国仮特許出願第６２／４９９，１９３号の利益を主張する。

【0002】

政府の権利
本発明は、ＯＮＲによって授与されたＮ０００１４１５１２３５８、ＮＳＦによって授与された１１Ｓ１３１７７４９、ＤＡＲＰＡによって授与されたＨＲ００１１１６２００２１、ならびにＮＡＳＡによって授与された助成ＮＮＸ１６ＡＤ９８ＧおよびＮＮＸ１４ＡＭ５３Ｈの下で政府支援により行われた。政府は本発明に特定の権利を有する。

【背景技術】

【0003】

飛行時間（ＴｏＦ：ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）深度センサは、自動車および航空からロボット工学、ゲームおよび家庭用電化製品までの多様な用途における最適な技術となっている。これらのセンサは、大きく２つの特徴：深度を感知するのに極めて短い光のパルスに頼るＬＩＤＡＲベースのシステム、および、よりずっと長い持続時間にわたって変調された光信号を放射する連続波（ＣＷ：ｃｏｎｔｉｎｕｏｕｓ−ｗａｖｅ）システム、に分けられる。ＬＩＤＡＲベースのシステムは、白昼に最大１キロメートル離れたところまでセンチメートル精度の深度マップを取得することができるが、低い測定レートを有する。さらに、１画素当たりの費用が、ＣＷシステムよりも数桁高く、そのレンジ、屋外動作およびロバスト性が極めて限定される。低費用、大規模生産および高測定レートがしばしば他の検討事項にまさるので、連続波飛行時間（ＣＷ−ＴｏＦ）センサは、それらの欠点にも関わらず、家庭用電化製品および低価格のロボット工学の場所を支配し続けている。さらに、ＫｉｎｅｃｔおよびＰＭＤなどのコンシューマグレードの飛行時間深度カメラは、安価で、コンパクトであり、短距離の用途においてビデオ速度の深度マップを生成する。

【0004】

本発明は、エネルギー効率の良いエピポーラ撮像を用いてＣＷ−ＴｏＦの欠点を顕著に低減する。ある実施形態において、連続的に変調されたレーザ光のシートが、集合的に視野を走査する、注意深く選択されたエピポーラ面のシーケンスに沿って、投射される。各投射されたシートでは、各エピポーラ面に対応するＣＷ−ＴｏＦ画素のストリップだけが露出される。図２に示すように、本発明のプロトタイプ実装形態は、特別に作られた投射システムを、制御可能な対象領域（ｒｅｇｉｏｎｏｆｉｎｔｅｒｅｓｔ）を有するＣＷ−ＴｏＦセンサに結合する。いくつかの実装形態において、既製のＣＷ−ＴｏＦセンサを使用することができる。既製のセンサは、３２０ｘ２４０の３Ｄビデオを毎秒７．５フレームでライブで出力することができ、フレームレートは、センサのＡＰＩによって限定されるだけである。

【0005】

エピポーラ撮像は、最初は従来の（非ＴｏＦ）ビデオセンサを用いて、直接のみ、または大域のみのビデオをライブで取得するために提案された。このアプローチは、ＴｏＦ分野に拡大されたが、そのエネルギー効率は非常に低く、それは、単一の「直接のみ」のＴｏＦ画像を計算するために５００を超える画像をキャプチャすることを伴う。三角測量ベースの３Ｄ撮像の状況で、２Ｄ走査型レーザプロジェクタおよびロールシャッタカメラを用いて、エネルギー効率およびロバスト性の顕著な改善が実現される。本発明は、この考えをＴｏＦ分野まで拡大する。したがって、それは、非ＴｏＦのエネルギー効率の良いエピポーラ撮像のすべての利点を継承するが、ＣＷ−ＴｏＦに特有である難題にも対処する。

【発明の概要】

【発明が解決しようとする課題】

【0006】

主な困難は、ＣＷ−ＴｏＦセンサのレンジがパワー消費および目の安全の検討事項によって大幅に限定されることである。ほとんどのＣＷ−ＴｏＦセンサは入射光のＤＣ成分を電子的に減算するが、日光などの強力な周囲発生源からの光子雑音は、屋外の数メートルを超える距離において、典型的なフレームレートで、容易にＣＷ−ＴｏＦ信号を圧倒することができる。光源のエネルギーを単一のシートに集中させることによって、エピポーラＴｏＦは、このレンジを１０ｍまで増加させ、より雑音が多いのにもかかわらず、屋外の１５ｍを超えて有用な深度信号を取得する。

【0007】

第２の困難は、ＣＷ−ＴｏＦセンサの深度精度が相互反射および大域照明輸送などの大域照明効果によって強く影響されることである。これらの効果は、より長い光路を生成し、構造化付加雑音の源として現れる。これらの効果は、シーンの幾何形状および反射特性に対して強い仮定を課することなしでは、事後にキャンセルすることができず、しかも屋内では極めて一般的である（例えば、壁の間の角、テーブルおよび床の光沢のある表面、ミラーなど）。本発明は、大域輸送のすべての形態に対し、およびライブのＣＷ−ＴｏＦで処理することは決して可能でなかった大域照明輸送の形態である、特に鏡面相互反射に対し、顕著なロバスト性を実証する。

【0008】

ＣＷ−ＴｏＦ深度センサを装備したデバイスが屋内および屋内で次第に一般的になってきたのに伴い、それらは互いに干渉することなく動作することができなければならない。所与のメーカーとモデルのデバイス間の非干渉は、それらにわたる変調周波数を変化させることにより、実現することができるというものの、ＣＷ−ＴｏＦセンサのより広いエコシステムに対するロバスト性が望ましい。本発明は、まったく同じ変調周波数および光源波長を有するデバイスに対しても、エピポーラＴｏＦにより、干渉のないライブの３Ｄ撮像が可能になることを実証する。

【課題を解決するための手段】

【0009】

最後に、ＣＷ−ＴｏＦセンサは、単一の深度マップを計算するために放射光の異なる位相を用いて２つ以上のフレームを取得しなければならない。これにより、それらは、振動が単に画像をぼかす従来のカメラと異なり、カメラぶれに対して非常に敏感になり、ＣＷ−ＴｏＦにおけるカメラぶれが、静的シーンの仮定を破り、動きアーチファクトによりぼけてもおり、破損もされている深度マップとなる。エピポーラＴｏＦが、両方の問題に対処することを可能にする：各エピポーラ面に対して非常に短時間の露出に頼ることによって動きぼけが最小にされ、フレームごとにではなく、エピポーラ面ごとに複数の位相測定値を取得することによって動きアーチファクトおよび深度誤差が最小限に抑えられ、取得後の歪み補正がより容易になるようにエピポーラ面のシーケンスをスケジュールすることによって、エピポーラ面ＴｏＦの逐次性に起因するロールシャッタに似た歪みが低減される。

【図面の簡単な説明】

【0010】

【図1】（ａ）から（ｄ）は通常の（ＴｏＦ）システムに対して本発明のエピポーラＴｏＦシステムを使用して走査された様々なシーンの比較を示すための図である。

【図2】エピポーラＴｏＦ撮像を実施するためのシステムの概略図である。

【図3】（ａ）から（ｆ）はＴｏＦ撮像における、いくつかの可能なエピポーラ面のサンプリング方式および行露出を示す図である。

【図4(a)】本出願のプロトタイプの描写である。

【図4(b)】レーザ光源構成部品を示す図である。

【図5】行の特定のシーケンスに対するカメラの露出、読出しおよびミラー位置のタイミング図である。

【図6】（ａ）から（ｄ）は曇りの天候および明るい日差しの下でのセンサからの距離のレンジにおける白い平面ターゲットを撮像した結果を示す図である。

【図7】（ａ）は、通常のおよびエピポーラＴｏＦ撮像を使用して得た深度測定値における標準偏差を示すグラフである。（ｂ）は、許容可能なレンジ精度の異なるレベルにおける同じ模擬カメラの動作範囲を示すグラフである。シミュレートされたカメラのパラメータはプロトタイプと異なることに留意されたい。

【図8】エピポーラＴｏＦ撮像が、電球がオンにされたときでも、それらの表面からの正確な深度の戻りを提供することを示す図である。

【図9】大域光輸送の存在下でエピポーラおよび通常のＴｏＦ撮像による深度マップを比較する図である。

【発明を実施するための形態】

【0011】

マイクロコントローラという用語は、本明細書では、専用ハードウェアデバイス、回路、ＡＳＩＣ、ＦＰＧＡ、ソフトウェアを実行するマイクロプロセッサ、または当技術で知られている任意の他の手段を意味することができる。マイクロコントローラは、制御信号を送るためのおよびデータを受け取るためのセンサおよびレーザ光プロジェクタの両方に対する接続部を含むことがさらに理解される。本発明は、コントローラの機能を実装する１つの方法に限定されることは意図されていない。

【0012】

本明細書では、カメラおよびセンサという用語は、互換可能に使用される。

【0013】

連続波飛行時間
ＣＷ−ＴｏＦカメラは、露出が積分中に変調もされる、時間変調された光源およびセンサを使用する。照明変調関数がｆ_ωｔ＝ｃｏｓ（ωｔ）であり、センサ変調関数がｇ_ω，φ（ｔ）＝ｃｏｓ（ωｔ＋φ）である場合、ここでωはｒａｄ／ｓでの変調周波数であり、φは光源とセンサ変調関数との間の位相オフセットであるが、画素ｘにおける測定値は：

【数1】

【数2】

であり、ここで、ｈ_ｘ（ｔ）はアクティブな光源に対する画素の過渡応答を表し、Ａ_ｘは周囲光に起因する受け取った光、およびアクティブな光源のＤＣ成分である。Ａ_ｘは積分から落ちるが、実際には、ｇ_ω，φ（ｔ）が正または負であるかどうかにより入射光を２つの異なる格納場所（タップと呼ばれる）に積分し、次いで格納された値の間の差を取ることにより、Ｉ_ω，φ（ｘ）は測定され、したがって、周囲光は依然として測定ショット雑音に加わる。

【0014】

光源とセンサ画素ｘとの間に間接的な光路が何もない場合、

【数3】

であり、ここでｃは光の速度であり、ｌ（ｘ）は光源から、ｘに対応するシーン点、そして、センサに帰るまでの経路の長さである。

【0015】

シーンが静的であると仮定すると、経路長ｌ（ｘ）は、同じ周波数であるが、２つの異なる変調位相φ＝０およびφ＝^π／_２における画像のペアをキャプチャすることによって回復することができる：

【数4】

画素深度ｚ（ｘ）は、光源およびセンサの幾何学的較正パラメータを使用してｌ（ｘ）から計算することができる。

【0016】

エピポーラ飛行時間
図２は、エピポーラＴｏＦ撮像を実施するためのシステムの概略図である。変調レーザ光の可動シートを発生させるプロジェクタが、行を一度に１つ露出させることができるＴｏＦセンサと組み合わせられる。プロジェクタおよびセンサは、光シートが常にプロジェクタとカメラとの間のエピポーラ面にあるように、平行化された（ｒｅｃｔｉｆｉｅｄ）ステレオ構成で配置される。任意の所与の時点において、エピポーラ面におけるカメラ画素の行だけが光に露出される。

【0017】

図２の幾何形状を実現するために、図４（ｂ）に示されるように、可動光シートをシーン上に投射する１Ｄ走査型ミラーを有するラインレーザ光源が使用される。現在のＣＷ−ＴｏＦセンサは、２Ｄ画素配列にわたる、制御可能な露出コーディングを提供しない。利用可能な既製のハードウェアを考慮に入れて、露出をエピポーラ面上の画素に制限するには３つのやり方がある：
１．すべての他の画素をマスクするためにデジタルマイクロミラーデバイス（ＤＭＤ：ｄｉｇｉｔａｌｍｉｃｒｏ−ｍｉｒｒｏｒｄｅｖｉｃｅ）を使用する；
２．１Ｄセンサおよび制御可能なミラーを使用して、撮像すべきエピポーラ面を選択する；または
３．制御可能な対象領域（ＲＯＩ：ｒｅｇｉｏｎｏｆｉｎｔｅｒｅｓｔ）を有する２Ｄセンサを使用する。

【0018】

好ましい実施形態において、三番目の選択肢が選択されるが、それはＤＭＤマスクを使用するよりも光効率が良く、そのことが、より単純な設計をもたらすからである。ＲＯＩは、エピポーラＴｏＦの要件に合致するように、１行の高さに設定される。

【0019】

エピポーラ面サンプリング
ＣＷ−ＴｏＦは、深度を回復するのに少なくとも２つの画像を必要とする。エピポーラＴｏＦを使用してシーン全体をカバーするために、アクティブなエピポーラ面は、視野にわたって掃引されなければならない。このことが、エピポーラ面がサンプリングされる順序を選択する柔軟性を提供する。

【0020】

図３は、いくつかのそのような順序付け方式を示す。図３（ａ）は、従来の先行技術のＴｏＦを示し、すべてのエピポーラ面は、同時に照射され、すべてのカメラ行は同時に露出される。このことは、長時間露出を必要とし、動き、周囲光、大域的な光輸送およびデバイス間の干渉に起因する深刻なアーチファクトをもたらす。図３（ｂ）は、光の非常に短い高強度パルスをＣＷ−ＴｏＦに送ることは周囲光に対する抵抗力を与えるが、それは依然として大域的な光輸送および動きに起因するアーチファクトを生じる傾向があることを示す。

【0021】

図３（ｃ）は、１つの完全な画像が、各変調位相に対して取得される、ロールシャッタカメラと同様の効果を生成するエピポーラＴｏＦ面の順序付けを示す。これは、結果として周囲光、大域照明および動きぼけに対するロバスト性となる。しかし、各行に対して捕捉された複数の位相測定値間の顕著な遅延のため、動きに対する感度が依然として残る。これらの画像を取得している間にシーンまたはカメラが動いた場合、取り出された深度マップは、補正が困難な誤りを含むので、この方式は望ましくない。

【0022】

図３（ｄ）における別の実施形態は、平面ごとに測定値をインターリービングすることが、そのようなアーチファクトを最小にすることを示す。図３（ｄ）に示される順序付け方策は、変調位相のセットを通して、一度に１つのエピポーラ面をループする。各行の露出時間が非常に短いので、単一の行に必要なすべての位相は、カメラ／シーンの動きに起因する深度および動きぼけアーチファクトを最小限に抑えるのに十分に迅速に取得されうる。

【0023】

この方策を使用すると、各行はわずかに異なる時間でキャプチャされる。これは取得された深度マップにおいてロールシャッタに似た効果を誘発するが、個々の深度値は、ぼけおよびアーチファクトがなく、後処理により、組み合わせて、一貫したモデルにすることができる。

【0024】

ミラーのアクチュエータの運動学的制約に従いながら、そのような後処理をさらに容易するために、エピポーラ面は、図３（ｅ）に示されるように、鋸歯状パターンで順序付けされる。この方式において、視野全体は、同じ全露出時間内に２回走査され、シーンのより高い時間サンプリングを生じ、個々の深度マップ行の一貫したマージをより容易にする。これは、本質的に、２倍のフレームレートだが、半分の垂直解像度で、完全な視野深度マップを提供し、高速のカメラぶれおよび／またはシーンの動きに対する深度補正をより容易にする。

【0025】

より一般的に、図３（ｆ）は、ある用途では、異なる時間サンプリングレートを用いて視野の異なる部分を走査することが有益であり得ることを示す。より低い画像行に対応するエピポーラ面がより頻繁にサンプリングされる、非均一サンプリング方式の例が示されている。このタイプのサンプリングは、例えば、視野のより低い部分が、通常、より近接し、および、より速く移動し、より高速のサンプリングレートにおける取得を必要とする、車両上で有用でありうる。

【0026】

動作中に、プロジェクタは、変調レーザ光のシートを発生させ、レーザプロジェクタとセンサとの間に画定されたエピポーラ面を連続して照射する。平面は、任意の順序で照射されることができるが、好ましい実施形態においては、上から下まで、次いで下から上まで照射される。平面が照射される実際の順序は、プラットフォームが使用されている特定の環境、または深度マップが作成されている用途に依存する可能性がある。また、任意の数の平面を視野内に画定することができ、レーザおよびセンサのキャパシティならびに所望のフレームレートだけによって限定される。好ましい実施形態において、視野において画定された２４０の平面があり、各平面は３２０ｘ２４０画素である。

【0027】

センサの対象領域は、視野の任意の部分に設定することができ、動作中に、センサのＲＯＩが現在照射されているエピポーラ面内の画素の行を感知するように設定されるように、マイクロコントローラが、レーザプロジェクタとセンサとを同期させる。位相は２つの画像を使用して推定される。一般に、センサは、４つ、入射信号をシフトされた入力信号と相関させるために測定値を、使用する（角度０、９０、１８０、２７０）。これらの画像のうちの２つまたは４つのいずれかが、位相推定に使用されることができるが、４つの画像を使用することは、より精度を与えるが、キャプチャするのにより長い時間がかかり、フレームレートを低減する。位相アンラッピングが必要な場合、位相推定プロセスは、異なる変調周波数で実施される必要があり、したがって、２つの画像の代わりに４つの画像が位相アンラッピングに必要とされる。本発明のある実施形態において、慣性計測装置（ＩＭＵ）をセンサに取り付けることができ、プラットフォームの動きを補償するのに使用される。

【0028】

エピポーラＴｏＦプロトタイプ
図４（ａ）に示される、エピポーラＴｏＦ撮像のためのプロトタイプデバイスが、照射のためのガルバノミラーベースの光シートプロジェクタおよび撮像のための調整可能な対象領域を有するＴｏＦセンサを使用して構築された。図４はプロトタイプの描写である。画素の任意の行をキャプチャするための高速ＲＯＩ制御を有するＤＭＥ６６０カメラおよび光源としての特注の可動光シートプロジェクタが、プロトタイプに使用された。本明細書に説明されるプロトタイプは、本発明の１つの特定の実施形態の典型に過ぎないこと、および異なる機器および動作パラメータを利用する他の実施形態が、本発明の範囲内に含まれることが、当業者によって理解されるはずである。

【0029】

使用されるＴｏＦセンサは、３２０ｘ２４０の解像度を有するＥＰＣ６６０（ＥｓｐｒｏｓＰｈｏｔｏｎｉｃｓからの）であり、画素は、周囲飽和防止を実装する。センサには８ｍｍ、Ｆ１．６の低歪みレンズおよび光学帯域通過フィルタ（中心周波数６５０ｎｍ、帯域幅２０ｎｍ）が装着されている。センサは、ＲＯＩがセンサ読出しごとに変更されることを可能にし、この特徴は、撮像するために異なる行を選択するのに使用される。センサからデータを読み出すために、製造業者からのセンサ開発キット（ＤＭＥ６６０）が利用される。本発明は、説明されるＴｏＦセンサの使用に限定されないが、任意のＴｏＦセンサが使用される可能性があることが理解されるはずである。

【0030】

プロトタイプに利用されたラインプロジェクタは、その光源として７００ｍＷのピークパワーを有する６３８ｎｍのレーザダイオードを使用する。ダイオードからの光は、コリメートされ、ビーム断面を、４５度のファンアウト角度を有する、広がった、ほぼ均一に照射される直線に引き延ばすＰｏｗｅｌｌレンズを通過される。レーザ光は、シートを偏向させるように回転させることができる１Ｄ走査型ガルバノミラーに向けられる。ミラーの回転レンジは、プロジェクタに４０度の垂直視野を与える。プロジェクタの有効な投影中心は、ミラーが回転するにつれて移動するが、ファンアウト点とガルバノミラーとの間の距離がシーンにおける深度に比較して非常に小さいので、この影響は無視することができる。

【0031】

マイクロコントローラが、センサと光源とを同期させるのに使用される。マイクロコントローラは、露出時間、変調周波数／位相、対象領域、行を設定するために、および各キャプチャをトリガするために、Ｉ２Ｃバスにわたってセンサと通信することができる。マイクロコントローラは、プロジェクタのガルバノミラーを作動させることもできる。さらに、マイクロコントローラは、センサに取り付けられているＭＥＭｓ慣性磁気装置（ＩＭＵ）を使用してカメラの回転速度を読み取ることができる。周波数発生器回路により、変調周波数（１ＭＨｚステップで１１ＭＨｚから２４ＭＨｚの間の）の選択が可能になる。

【0032】

プロジェクタおよびカメラは、エピポーラ撮像に必要とされるように、平行化されたステレオ構成で隣り合って位置合せされる。正しく位置合せされたとき、投射された光シートは、カメラにおける単一の画素の行を照射し、この行は、深度から独立している。ガルバノミラー角度と照射されたカメラ行との間のマッピングを決定するためにミラー較正が実施される。

【0033】

センサ較正
実際には、センサから読み出された測定値は、観測されたとき、それらの期待値に合致しない。固定パターン雑音、不均等な感度、およびタップと各画素における実際の露出変調関数の位相の変動との間のクロストークを含めて、この不一致にはいくつかの理由がある。期待されるセンサ測定値Ι_ω（ｘ）と観測された測定値

【数5】

との間の関係は、各画素における射影補正Η_ω（ｘ）を使用してモデル化される。

【数6】

【0034】

Η_ω（ｘ）を見いだすために、センサは、知られている距離のセットｚ_ｋ，ｋ＝１，．．．，Ｋにおける平面に、前額平行に配置される。平面の各位置に対して、センサ測定値は、変化するシーンアルベドの効果をシミュレートするために、異なる絞り設定（ｓ＝１，．．．，Ｓ）で収集される。各平面位置ｋに対して、経路長は、画素において計算することができ、ｌ_ｋ（ｘ）、そしてそれから、期待される位相

【数7】

を計算することができる。センサ測定値Ι_{ω，ｋ，ｓ}（ｘ）を最もよく説明するΗ_ω（ｘ）は、補正された測定値と期待される位相との間の最小二乗誤差を最小にする補正Η_ω（ｘ）を見いだすことによって計算することができる。

【0035】

これらの較正パラメータは、変調周波数および露出時間の両方に依存し、したがって、プロセスがすべての周波数および露出時間に対して繰り返される。センサおよび光源ドライバに渡される変調信号は、矩形波であるが、変調周波数２０ＭＨｚ以上において高調波は大いに抑制され、したがって、変調関数は、正弦波によってよく近似された。

【0036】

タイミング
プロトタイプを用いて行を撮像するのに必要な時間（および、さらに言うとフレームレート）は、ｎ、１行当たりの読出しの数と、露出時間ｔ_ｅｘｐ、行に対する読出し時間ｔ_ｒｅａｄと、ｔ_{ｍｉｒｒｏｒ}、サンプリングシーケンスにおいてガルバノミラーが次の行位置へ移動するために要する時間との関数である。

【数8】

【0037】

プロトタイプに使用されたような２タップセンサの場合、単一の変調周波数を使用して深度を測定するのに少なくともｎ＝２の読出しが必要である。図５は、行の特定のシーケンスに対するカメラの露出、読出しおよびミラー位置のタイミング図を示す。まず、走査型ミラーは、新たなアクティブな行に移動され、所定位置にセトリングするためにｔ_{ｍｉｒｒｏｒ}時間を要する。前の行読出しが完了し（ｔ_ｒｅａｄの時間を要する）、ミラーが所定位置にあるとき、カメラがトリガされる。この例において、ｔ_{ｍｉｒｒｏｒ}＞ｔ_ｒｅａｄであり、したがって、ミラーの速度が、キャプチャレートにとってボトルネックである。各露出は、時間ｔ_ｅｘｐにわたって持続し、各露出の終わりに、行が読み取られる。図５はタイミング例を示す。ｔ_ｒｏｗは１７５μｓであり、ｔ_ｅｘｐは１００μｓに設定される。行のサンプリングシーケンスにおいて、ミラーはステップごとに２つの行を通して回転し（ほぼ０．３３°）、このステップサイズのセトリング時間ｔ_{ｍｉｒｒｏｒ}は、おおよそ１００μｓである。合計で、ｔ_ｒｏｗは、ｎ＝２であるとき、５５０μｓということになり、それにより、７．５ｆｐｓ（ｎ＝４であるとき３．８ｆｐｓ）のフレームレートが生じる。

【0038】

制限
現在、フレームレートの主なボトルネックは読出し時間である。本発明の実施形態は、読出しごとにセンサの１つの行だけからのデータを必要とするが、ＥＰＣ６６０センサがサポートする最小対象領域は、高さが４つの行であり、現実には１つの行だけが使用されるとき、４つの行の読取りが強制される。さらに、開発キットは、センサのデータバスを２０ＭＨｚに制限するが、センサ自体は、最大８０ＭＨｚまでのバスレートをサポートする。ｔ_ｅｘｐの最小値は、光源のピークパワーおよび所望のレンジに依存する。説明される本発明のプロトタイプは、７００ｍＷのピークパワーを有する源を有するが、他のほとんどの実験的な飛行時間システムは、３Ｗから１０Ｗの範囲のピーク光源パワーを有する。より明るい光源を使用する場合、レンジの損失なく、より短い露出時間を使用することができる。最後に、低費用のガルバノミラーは、より高速の１ＤＭＥＭｓミラーで置き換えることができる。これらの改善により、説明されるプロトタイプに基づくシステムは、ビデオフレームレートで動作するはずである。

【0039】

説明されるプロトタイプに使用されるセンサは、唯一２４ＭＨｚの最大変調周波数をサポートするが、他のほとんどの飛行時間センサは、５０ＭＨｚから１００ＭＨｚの範囲で動くことができる。これは、より小さい対象を正確に走査するための、または過渡撮像に使用されるためのプロトタイプの能力を制限する。ＥＰＣ６６０データシートは、センサＡＤＣは１２ビット値を返すが、使用されたセンサのバージョンは、１０ビットしか返さない、と明記しており、これがレンジに効いて、出力深度マップがより雑音の多いものになる。

【0040】

結果
周囲光および大域照明の下で性能を比較するためにセンサを通常の撮像モードで動かすために、センサ全体が、小さなＲＯＩを使用する代わりに、一挙に露出され、センサは、シートプロジェクタが視野にわたる掃引を終了するまで露出されたままである。マルチデバイス干渉およびカメラの動きの実験における通常のＴｏＦ撮像では、シートプロジェクタは、拡散源で置き換えることができる。

【0041】

周囲光
エピポーラ撮像を明るく照らされた環境の飛行時間に適用する利益が、シミュレートされ、結果は図７に示される。所与の光源パワーでは、通常の撮像により、周囲光レベルが０ｌｘ（完全な闇）から１００ｋｌｘ（直射日光）に増大するにつれて、深度精度が急速に劣化する。エピポーラ撮像の場合、劣化はよりずっと緩やかである。

【0042】

図７（ａ）は、周囲光レベルに応じてカメラから１０ｍのターゲットに対して通常のおよびエピポーラＴｏＦ撮像（変調周波数１５ＭＨｚ）を使用して得た深度測定値における標準偏差のシミュレーションの結果を示す。両方の場合に対して、ピーク光源パワーは２Ｗであり、総露出時間は同じ（１つの画像当たり７．２ｍｓ）であるが、エピポーラＴｏＦは、光源パワーを集中させ、各行に対して短時間露出（３０μｓ）を使用するので、周囲光に対してよりロバストである。

【0043】

図７（ｂ）は、許容可能なレンジ精度の異なるレベルにおける同じシミュレートされたカメラの動作レンジを示す。シミュレートされたカメラのパラメータはプロトタイプと異なることに留意されたい。

【0044】

図６は、曇天および晴天条件の通常のＴｏＦおよびエピポーラＴｏＦモードにおける説明されるプロトタイプを定量的に比較する。通常のＴｏＦモードは、明るい日光の下では失敗しているが、エピポーラＴｏＦは、相当によりロバストである。図１（ａ）は、１５ｍのレンジを有する、日光の下における（７０ｋｌｘ）生の３ＤＣＷ−ＴｏＦ撮像を示し（人が階段上を歩いており、遠隔の建物あたりで位相がラッピングする）、図８は、強い周囲光および大域照明効果の両方を有するシーン例を示す。食器類（ｔａｂｌｅｓｅｒｖｉｃｅ）からの反射により、通常のＴｏＦでは誤りが生じているが、エピポーラ撮像では、これらは抑制されている。

【0045】

図６（ｄ）は、ターゲットまでの距離に対する深度測定値の標準偏差を示す（より緩やかな上昇曲線がより良い）。本発明のプロトタイプは、明るい日光の下において１０ｍでおよそ３％の深度誤差を有する。

【0046】

大域照明
図９は、少数の一般的な屋内環境における大域照明の効果を抑制するエピポーラ撮像の能力を示す。これらの結果は、単一の変調周波数（２４ＭＨｚ）を使用して発生される。部屋の角において、壁と天井との間の拡散相互反射により、深度は過大評価され、通常の撮像では角の丸み付けが生じる。

【0047】

図１（ｂ）にも示される、図９の二番目の行における会議用テーブルは、グレージング角で鏡面のように見える。浴室のシーンにおいて、ミラーからの反射に起因する壁のゴーストは、エピポーラ撮像によって抑制される。噴水式飲み器は、その金属面からの直接の戻りが非常に弱いが、表面は多くの間接光をセンサに反射しかえすので、特に興味深い。エピポーラ撮像では、使用可能な直接信号を回復することを試みるために３つの露出が組み合わされる。より長時間の露出は、相互反射がセンサを飽和させるので、通常の撮像には役に立たない。

【0048】

エピポーラ撮像により、壁は、真っ直ぐに見え、鋭い直角で接触しあい、角の相互反射、光沢のある会議用テーブル上への映写幕からのつやのある中間投射、洗面所のミラーからのおよび壁と光沢のある噴水式飲み器との間の反射を拡散する。エピポーラＴｏＦは、大域的な光輸送のほとんどを除去し、結果として通常のＴｏＦよりも顕著により正確である深度マップとなる。

【0049】

マルチカメラ干渉
エピポーラＣＷ−ＴｏＦ撮像により、同じ変調周波数で動く２つのカメラは、通常、各画像における画素のスパースなセットにおいてただ互いに干渉するだけであり得る。各カメラは、一度にシーンにおける単一のラインを照射し、撮像し、したがって、任意の時点において、二番目のカメラは、その照射されたラインが一番目のカメラの露出された画素の行と交差する点において一番目のカメラとただ干渉するだけであり得る。１つのカメラの光源が、平行化されたステレオペアを二番目のカメラのセンサと形成し、両方のカメラがたまたま同期されたとき、悪化した場合が起きるが、これはまれな出来事とみなすことができる。

【0050】

２つよりも多くのカメラが存在する場合、カメラの各ペアは、それらが互いに干渉する点のスパースなセットを有する。エピポーラＴｏＦカメラのセットが異なる変調周波数で動いているとき、各カメラの他のカメラにおけるショット雑音への寄与は、大いに低減される。図１（ｃ）は、２つのＣＷ−ＴｏＦカメラを通常のおよびエピポーラ撮像により同じ周波数で同時に動作させた結果を示す。エピポーラ撮像は、同じ周波数で動作しているＴｏＦデバイス間に干渉がないことを示す。通常のＴｏＦには観測可能な誤り（すなわち、壁と椅子）がある。

【0051】

カメラの動き
知られている回転軌道（ＭＥＭＳジャイロスコープから得た）を有する回転するカメラを使用する場合、通常の撮像により、各キャプチャされたＴｏＦ測定値は、測定値が互いに整合しないので、動きぼけ、および深度不連続における強いアーチファクトを有する。理論的には、これらは、空間的に変化するデコンボリューションを使用して収集することができるが、これは、計算的に高価であり、高周波数成分を回復することが下手である。エピポーラＴｏＦ撮像を使用する場合、動きぼけは、基本的に何も影響がなく、ロールシャッタに似た効果を有する深度マップが取得される。これは、回転から計算された単純な画像ワープを用いて補正することができる。図１（ｄ）は、急速にパンするカメラからの例を示し、シーン露出の間に深刻なカメラぶれが存在する場合でも歪んでいない深度マップを得ることができる（通常のＴｏＦにおいて取り除くのが困難なゴーストエラーを観測することができる）ことを示す。さらに、前述したように、センサは、そして私はあなたであるを装備することができ、それはプラットフォームのプロモーション（ｐｒｏｍｏｔｉｏｎ）を補償するのに使用される。

【0052】

飛行時間深度カメラのためのエピポーラ撮像は、明るく照らされた条件における低い性能、大域照明に起因する系統誤差、デバイス間干渉およびカメラの動きに起因する誤差など、深度カメラにより一般に出合う問題の多くを軽減する。深度カメラに比較して、一度に単一の点を照射し撮像する走査型ＬＩＤＡＲなどのシステムは、すべてのこれらの効果に対して非常にロバストであるが、低い測定レートを有する。エピポーラ撮像は、全視野キャプチャおよび点ごとのキャプチャのこれら２つの極端の間の妥協点と考えられうる。エピポーラ撮像は一度に単一のラインを照射しキャプチャするので、それにより、深度カメラが依然として高い測定レートを有しながら点走査のロバスト性のほとんどを有することが可能になる。

【0053】

ここでＴｏＦに対して行われたように、行ごとにパターンを繰り返すことは、構造化光に直接適用可能でもある。それは、現在シングルショット方法だけを使用することができるダイナミックなシーンに対して、高品質深度マップを発生させるマルチ画像構造化光方法を適用することを可能にするはずである。

【0054】

説明されたプロトタイプにおいて、走査型ミラーは、鋸歯状パターンに従い、整然としたシーケンスで行をキャプチャする。しかし、より高速の走査型ミラーを使用した場合、疑似ランダム行サンプリング戦略を実装することができ、それは、エピポーラ撮像を圧縮センシングまたは同様の技法を併せて使用することを可能にし、速く移動するシーンの時間的に超解像された深度マップを回復する。本発明の実施形態は、具体的な識別された構成部品を使用して本明細書に説明されてきたが、本発明はそれにより限定されることが意図されていない。特許請求される本発明の範囲は、以下に提示される請求項の組によって定義される。

【図1】